One Frozen Simulator Is Not Enough: Simulator Collapse in Multi-Agent RL

📄 arXiv: 2608.12253v1 📥 PDF

作者: Simon Yu, Nicholas Tomlin, Marwa Abdulhai, Ximing Lu, Derek Chong, Abe Hou, Dilara Soylu, Sergey Levine, Christopher D. Manning, Weiyan Shi

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-08-12

备注: 41 pages, 28 figures

💡 一句话要点

提出多模拟器训练方法以解决多智能体RL中的模拟器崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体强化学习 模拟器崩溃 语言化采样 共同训练 策略优化 人机交互 开源框架

📋 核心要点

  1. 现有的多智能体强化学习方法依赖单一模拟器，导致策略在真实环境中的泛化能力不足。
  2. 论文提出的推理时语言化采样和训练时共同训练方法，旨在通过多样化模拟器行为来解决模式崩溃问题。
  3. 实验结果显示，语言化采样在成功率上提升了9%，而共同训练进一步提升至14%，并在真实用户研究中也取得了类似效果。

📝 摘要（中文）

多智能体强化学习在与人类交互时通常依赖单一的大型语言模型来模拟用户行为。本文指出这一方法的系统性失效，原因在于模拟器崩溃：由于模拟器的模式崩溃，基于其训练的策略容易过拟合于狭窄的策略，导致在未见过的模拟器和真实用户中表现不佳。我们理论化了这一崩溃现象，并提出了两个互补的解决方案：推理时的“语言化采样”和训练时的“共同训练”。实验结果表明，这两种方法在多个基准测试中显著提高了成功率，且保持了策略的多样性。为支持后续研究，我们发布了开源框架SCOPE。

🔬 方法详解

问题定义：本文解决的具体问题是单一模拟器在多智能体强化学习中的模式崩溃现象，导致策略在真实环境中的泛化能力不足。现有方法容易过拟合于模拟器的主导模式，无法适应未见过的环境。

核心思路：论文的核心思路是通过引入多样化的模拟器来训练策略，避免过拟合于单一模拟器的模式。推理时的语言化采样和训练时的共同训练相结合，旨在增强策略的泛化能力。

技术框架：整体架构包括两个主要模块：推理模块和训练模块。推理模块通过语言化采样扩展模拟器的行为分布，训练模块则通过共同训练优化策略，使其能够适应多个可训练的模拟器。

关键创新：最重要的技术创新点在于提出了共同训练方法，允许策略在多个模拟器上进行优化，从而防止了对单一模拟器模式的过拟合。这一方法在理论和实践上均展示了显著的优势。

关键设计：在设计中，语言化采样通过从语言化响应分布中进行采样来减少模式崩溃，而共同训练则通过联合优化策略与多个可训练模拟器的损失函数来实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，语言化采样在成功率上提升了9%，而共同训练进一步提升至14%。此外，针对真实用户的研究也显示了类似的增益，表明所提方法在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能助手和自动化客服等场景。通过提高多智能体系统在真实环境中的泛化能力，能够显著提升用户体验和系统的适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multi-agent reinforcement learning for human-AI interaction typically relies on a single large language model to simulate user behavior. We show that this approach systematically fails to generalize, and trace the failure to simulator collapse: because the simulator LLM is mode-collapsed, an LLM policy trained against it overfits to narrow strategies that exploit the simulator's dominant mode, and such a policy transfers poorly to unseen simulators and real users. We formalize this collapse theoretically and propose two complementary solutions, one at inference time and one at training time. The inference-time solution, Verbalized Sampling, broadens the simulator's behavior by sampling from a verbalized response distribution, reducing mode collapse. The training-time solution, Co-Training, jointly optimizes the policy against a population of trainable simulators, preventing it from overfitting to any single simulator's mode. We validate both solutions on three multi-turn benchmarks: Persuasion for Good, $τ^2$-bench, and CooperBench. Verbalized Sampling improves held-out success by up to 9% over single-simulator RL, and Co-Training pushes gains further to 14%; the human study shows similar gain on real users. Both solutions preserve the policy diversity that collapses under single-simulator RL. To support further work in this direction, we release SCOPE, an open-source framework for Population Co-Training multi-agent RL. More broadly, our results suggest that the diversity of the training environment, not only the policy, is critical to the generalization of multi-turn RL to real-world deployment.