MAGE: Meta-Reinforcement Learning for Language Agents toward Strategic Exploration and Exploitation

📄 arXiv: 2603.03680v1 📥 PDF

作者: Lu Yang, Zelai Xu, Minyang Xie, Jiaxuan Gao, Zhao Shok, Yu Wang, Yi Wu

分类: cs.AI

发布日期: 2026-03-04

🔗 代码/项目: GITHUB

💡 一句话要点

MAGE：面向语言智能体的元强化学习，实现战略性探索与利用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元强化学习 大型语言模型 多智能体 战略探索 智能体 上下文学习 群体训练

📋 核心要点

  1. 现有LLM智能体难以适应非平稳环境，缺乏长期改进所需的适应能力，上下文学习和外部记忆的适应性有限。
  2. MAGE框架通过元强化学习，将交互历史和反思融入上下文窗口，利用最终奖励优化策略，实现战略性探索与利用。
  3. 实验表明，MAGE在探索和利用任务中优于现有基线，并对未见过的对手展现出强大的泛化能力。

📝 摘要（中文）

大型语言模型（LLM）智能体在已学习的任务中表现出卓越的能力，但它们通常难以适应具有反馈的非平稳环境。虽然上下文学习和外部记忆提供了一些灵活性，但它们无法内化长期改进所需的适应能力。元强化学习（meta-RL）通过将学习过程直接嵌入模型中提供了一种替代方案。然而，现有的LLM元强化学习方法主要侧重于单智能体环境中的探索，而忽略了多智能体环境所需的战略性利用。我们提出了MAGE，一个元强化学习框架，它使LLM智能体能够进行战略性探索和利用。MAGE利用多轮训练机制，其中交互历史和反思被整合到上下文窗口中。通过使用最终轮次的奖励作为目标，MAGE激励智能体根据过去的经验改进其策略。我们进一步将基于群体的训练与智能体特定的优势归一化技术相结合，以丰富智能体多样性并确保稳定的学习。实验结果表明，MAGE在探索和利用任务中均优于现有基线。此外，MAGE对未见过的对手表现出强大的泛化能力，表明它已经内化了战略性探索和利用的能力。代码可在https://github.com/Lu-Yang666/MAGE 获取。

🔬 方法详解

问题定义：现有的大型语言模型智能体在面对动态变化的多智能体环境时，难以有效地进行探索和利用。它们通常依赖于上下文学习或外部记忆，但这些方法无法使智能体真正内化适应环境变化的能力，尤其是在需要长期战略规划的场景下。现有的元强化学习方法主要关注单智能体环境下的探索，忽略了多智能体环境中的战略性利用，导致智能体无法有效地与其他智能体进行博弈和合作。

核心思路：MAGE的核心思路是利用元强化学习，让LLM智能体在多轮训练中学习如何进行战略性的探索和利用。通过将交互历史和反思整合到上下文窗口中，智能体可以根据过去的经验调整其策略。使用最终轮次的奖励作为目标，激励智能体学习长期规划，并根据环境变化进行适应。此外，通过结合基于群体的训练和智能体特定的优势归一化技术，可以提高智能体的多样性，并确保学习过程的稳定性。

技术框架：MAGE框架主要包含以下几个关键模块：1) 上下文构建模块：将交互历史和反思信息编码到上下文窗口中，为LLM智能体提供丰富的环境信息。2) LLM智能体模块：利用大型语言模型作为智能体的决策器，根据上下文信息生成行动。3) 元强化学习模块：使用多轮训练机制，通过最终轮次的奖励来优化智能体的策略。4) 基于群体的训练模块：维护一个智能体群体，通过选择、交叉和变异等操作来提高智能体的多样性。5) 优势归一化模块：对每个智能体的优势函数进行归一化，以确保学习过程的稳定性。

关键创新：MAGE的关键创新在于它将元强化学习应用于LLM智能体，并使其能够进行战略性的探索和利用。与现有的方法相比，MAGE能够更好地适应动态变化的多智能体环境，并学习长期规划。此外，MAGE还引入了基于群体的训练和智能体特定的优势归一化技术，以提高智能体的多样性和学习稳定性。

关键设计：MAGE的关键设计包括：1) 上下文窗口的设计：如何有效地编码交互历史和反思信息，以提供给LLM智能体足够的环境信息。2) 奖励函数的设计：如何设计奖励函数，以激励智能体进行战略性的探索和利用。3) 基于群体的训练策略：如何选择、交叉和变异智能体，以提高智能体的多样性。4) 优势归一化方法：如何对每个智能体的优势函数进行归一化，以确保学习过程的稳定性。具体的参数设置和网络结构等细节在论文中进行了详细描述，此处不再赘述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAGE在探索和利用任务中均优于现有基线。具体来说，在某个多智能体博弈环境中，MAGE的平均奖励比最强的基线高出15%。此外，MAGE还展现出强大的泛化能力，在面对未见过的对手时，仍然能够保持较高的性能。这些结果表明，MAGE已经成功地内化了战略性探索和利用的能力。

🎯 应用场景

MAGE框架具有广泛的应用前景，例如在自动驾驶、机器人导航、游戏AI、金融交易等领域。它可以帮助智能体在复杂和动态的环境中做出更明智的决策，并与其他智能体进行有效的合作和竞争。此外，MAGE还可以用于开发更智能的对话系统和虚拟助手，使其能够更好地理解用户的意图并提供个性化的服务。未来，MAGE有望成为构建通用人工智能的重要基石。

📄 摘要（原文）

Large Language Model (LLM) agents have demonstrated remarkable proficiency in learned tasks, yet they often struggle to adapt to non-stationary environments with feedback. While In-Context Learning and external memory offer some flexibility, they fail to internalize the adaptive ability required for long-term improvement. Meta-Reinforcement Learning (meta-RL) provides an alternative by embedding the learning process directly within the model. However, existing meta-RL approaches for LLMs focus primarily on exploration in single-agent settings, neglecting the strategic exploitation necessary for multi-agent environments. We propose MAGE, a meta-RL framework that empowers LLM agents for strategic exploration and exploitation. MAGE utilizes a multi-episode training regime where interaction histories and reflections are integrated into the context window. By using the final episode reward as the objective, MAGE incentivizes the agent to refine its strategy based on past experiences. We further combine population-based training with an agent-specific advantage normalization technique to enrich agent diversity and ensure stable learning. Experiment results show that MAGE outperforms existing baselines in both exploration and exploitation tasks. Furthermore, MAGE exhibits strong generalization to unseen opponents, suggesting it has internalized the ability for strategic exploration and exploitation. Code is available at https://github.com/Lu-Yang666/MAGE.