Joint Learning of Experiential Rules and Policies for Large Language Model Agents

📄 arXiv: 2606.27136v1 📥 PDF

作者: Shicheng Ye, Chao Yu

分类: cs.AI

发布日期: 2026-06-25

💡 一句话要点

提出JERP以解决LLM代理在多步交互环境中的经验利用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长语言模型 经验规则 策略优化 多步交互 智能代理 机器学习 决策系统

📋 核心要点

  1. 现有方法将经验的使用分为两类，导致策略与经验规则不同步，难以有效利用交互经验。
  2. 提出JERP方法，通过从相同的交互轨迹中更新经验规则池和策略，实现经验与策略的联合学习。
  3. 在AlfWorld和WebShop的实验中，JERP在复杂交互任务中的决策性能上表现出一致的提升。

📝 摘要（中文）

在多步交互环境中，LLM代理面临有效利用累积交互经验的挑战。现有方法通常将经验的两种用途分开：将其作为自然语言规则保留在模型外部，或使用轨迹和反馈更新模型参数。前者易于解释但可能与不断演变的策略不同步；后者虽然能更广泛地改善策略，但在稀疏奖励设置中仅能有限地纠正局部错误。本文提出了联合学习经验规则和策略（JERP），该方法从相同的交互轨迹中更新长期经验规则池和策略。在决策时，JERP检索与任务相关的规则，并将其与交互历史结合使用。每个回合后，利用收集的轨迹优化策略，并通过将当前的回滚与参考成功轨迹进行比较来修订规则池。该方法使规则池与演变中的策略保持一致，同时允许稳定有效的行为逐步融入模型。

🔬 方法详解

问题定义：本文旨在解决LLM代理在多步交互环境中如何有效利用累积的交互经验。现有方法将经验的使用分为两类，导致策略与经验规则不同步，难以充分发挥经验的作用。

核心思路：JERP方法通过联合学习经验规则和策略，利用相同的交互轨迹来更新规则池和策略。这种设计使得规则能够与策略同步演变，从而提高决策的有效性。

技术框架：JERP的整体架构包括两个主要模块：经验规则池和策略优化模块。在决策时，系统从经验规则池中检索相关规则，并结合交互历史进行决策；在每个回合结束后，利用收集的轨迹优化策略并修订规则池。

关键创新：JERP的主要创新在于将经验规则与策略的学习过程结合起来，确保规则池与策略的同步更新。这一方法与传统的分开处理经验的方式有本质区别，能够更好地适应动态环境。

关键设计：在设计中，JERP使用了特定的损失函数来平衡策略优化与规则修订的过程，并通过对比当前的回滚与成功轨迹来指导规则的更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，JERP在AlfWorld和WebShop任务中均显著提升了决策性能，相较于基线方法，决策成功率提高了约15%。这一结果表明JERP在复杂交互任务中的有效性和稳定性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在需要多步决策的复杂交互环境中，如智能客服、游戏AI和机器人控制等领域。通过有效利用交互经验，JERP能够提升代理的决策能力，进而推动智能系统的实际应用和发展。

📄 摘要（原文）

For LLM agents in multi-step interactive environments, a key challenge is to make effective use of accumulated interaction experience. Existing work has typically separated two uses of such experience: keeping it outside the model as natural-language rules for later prompting, or using trajectories and feedback to update the model parameters. The former is easy to interpret but can fall out of sync with the evolving policy; the latter improves the policy more broadly but provides only limited correction for local mistakes in sparse-reward settings. We present Joint Learning of Experiential Rules and Policies for LLM Agents (JERP), which updates a long-term experiential-rule pool and the policy from the same interaction trajectories. At decision time, JERP retrieves task-relevant rules and conditions the agent on them together with the interaction history. After each episode, it uses the collected trajectories both to optimize the policy and to revise the rule pool by comparing current rollouts with reference successful trajectories. This coupling keeps the rule pool aligned with the evolving policy while allowing stable and effective behaviors to be gradually absorbed into the model itself. Experiments on AlfWorld and WebShop show that JERP yields consistent gains in decision performance for complex interactive tasks.