Solver-Guided Reasoning for Mixed-Equilibrium Strategies

📄 arXiv: 2608.06741v1 📥 PDF

作者: Han Wang, Philippe Beardsell, Boning Li, Aaron Sasmita, Shuai Li, Hongyuan Zha, Baoxiang Wang

分类: cs.LG, cs.GT

发布日期: 2026-08-07

💡 一句话要点

提出混合策略决策树以优化复杂游戏中的均衡推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 均衡推理 混合策略 决策树 大型语言模型 博弈论 智能决策 求解器输出

📋 核心要点

  1. 现有方法依赖人类数据进行均衡推理，导致策略偏向纯策略，效果不佳。
  2. 本文提出混合策略决策树（MDT），通过求解器输出生成稀疏战略规则，提升LLMs的均衡推理能力。
  3. 实验结果表明，MDT结合其他技术在8种LLM配置下将$ ext{l}_1$距离均衡降低了52.6%。

📝 摘要（中文）

在大型语言模型（LLMs）的推理中，通常依赖于人类文本、示范和推理。然而，在复杂游戏的均衡推理中，依赖人类数据可能并不理想，因为人类的游戏策略往往受到直觉和启发式的影响，可能与游戏均衡存在显著偏差。为了解决这一问题，本文提出了混合策略决策树（MDT），通过求解器输出引导LLMs进行均衡游戏策略的推理。通过对无极限德州扑克的研究，MDT与其他技术结合，显著降低了与均衡的$ ext{l}_1$距离，提升了LLMs的游戏策略表现。

🔬 方法详解

问题定义：本文旨在解决复杂游戏中均衡推理的不足，现有方法因依赖人类数据而导致策略偏向纯策略，无法有效捕捉混合策略均衡的特征。

核心思路：通过求解器输出而非人类注释，提出混合策略决策树（MDT），将均衡的最佳性转化为人类和LLMs均可理解的稀疏战略规则，从而提升推理能力。

技术框架：整体架构包括求解器查询、决策树构建和LLMs推理三个主要模块。首先，通过求解器获取混合策略决策，然后构建决策树，最后将其应用于LLMs进行推理。

关键创新：最重要的创新在于使用求解器输出生成决策树，避免了人类数据的偏差，使得LLMs能够在新的状态和延续中进行有效推理。

关键设计：在参数设置上，MDT通过对250百万个混合策略决策的查询进行训练，使用特定的损失函数来优化决策树的构建，确保其能够有效反映游戏均衡。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MDT结合其他技术在8种不同的LLM配置下，将与均衡的$ ext{l}_1$距离降低了52.6%。这一显著提升表明MDT在复杂游戏均衡推理中的有效性，超越了传统依赖人类数据的方法。

🎯 应用场景

该研究的潜在应用领域包括复杂博弈论、游戏AI开发和智能决策系统。通过提升LLMs在均衡推理中的能力，可以在多种策略游戏中实现更高效的决策支持，推动智能体在动态环境中的表现。

📄 摘要（原文）

Reasoning in large language models (LLMs) is often grounded in human text, human demonstrations, and human-generated rationales. For equilibrium reasoning in complex games, however, relying on human data can be suboptimal. In fact, human play is often guided by intuition and heuristics and can deviate substantially from game equilibrium. This discrepancy is amplified in games with mixed-strategy equilibria, where human data is heavily biased toward pure strategies. Consequently, conditioning LLMs on this data yields weak game strategies. To grant LLMs the reasoning capacity in games, in this work, we study how to elicit equilibrium play using solver output. We propose Mixed-Strategy Decision Tree (MDT), which articulates the silent optimality of the equilibrium into sparse strategic rules that both humans and LLMs could understand. Using solver output rather than human annotation allows us to extend the input to arbitrarily new states and continuations. We instantiate this study on No-Limit Texas Hold'em by querying a solver oracle for over \textbf{250 million mixed-strategy decisions}; MDT together with other techniques \textbf{reduces the $\ell_1$ distance to the equilibrium by $52.6\%$} across $8$ different LLM configurations. A Route-only ablation tests the incremental contribution of the shadow-based contrast, while complete River-endgame and Liar's Dice experiments evaluate strategic fidelity and portability beyond the original NLH communication setting.