RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs

📄 arXiv: 2611.02455v1 📥 PDF

作者: Ziyi Chen, Yan Zhang, Jianhui Wei, Jianing Yin, Daoan Zhang

分类: cs.AI

发布日期: 2026-11-02

💡 一句话要点

提出RLiD框架以优化语言模型的决策过程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 决策优化 自回归生成 模型蒸馏 自然语言处理 智能代理

📋 核心要点

  1. 现有的token级RL方法在生成响应时将动作的优势分配给整个输出，导致不必要的变异和效率低下。
  2. RLiD框架通过直接优化可执行动作的概率，消除自回归生成过程，提升了决策效率和准确性。
  3. 在ARC、Countdown和Sokoban等任务中，RLiD展示了更高的成功率和更低的计算成本，尤其在ALFWorld中取得了99.3%的成功率。

📝 摘要（中文）

强化学习（RL）已提升大型语言模型（LLMs）在多种任务中的能力。然而，现有的基于token的RL方法将动作的优势分配给整个生成的响应，导致不必要的变异。为此，本文提出RLiD（决策平面中的强化学习）框架，直接优化可执行动作选项的概率。RLiD将观察、可选的紧凑内存和标记的动作菜单编译为模型输入，并使用大型决策模型（LDM）在单次前向传播中选择动作。通过消除自回归token生成和绕过动作解析，RLiD避免了无效动作输出，并提高了RL的回滚效率。实验结果表明，在多个设置中，RLiD在性能或计算成本上均有所提升。

🔬 方法详解

问题定义：本文旨在解决现有token级RL方法在生成响应时的优势分配问题，导致的无效动作输出和效率低下。

核心思路：RLiD框架通过直接优化可执行动作的概率，避免了自回归生成过程中的不必要变异，从而提高了决策效率。

技术框架：RLiD的整体架构包括观察、可选的紧凑内存和标记的动作菜单，利用大型决策模型（LDM）在单次前向传播中选择动作。

关键创新：RLiD的核心创新在于消除了自回归token生成和动作解析，直接优化可执行动作的概率，从而提高了RL的回滚效率。

关键设计：在模型设计中，RLiD使用了紧凑内存来存储观察信息，并通过监督学习将训练好的LDM策略蒸馏到生成LLM中，以优化动作轨迹。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，RLiD在ALFWorld任务中实现了99.3%的成功率，显著高于token级RL的86.6%。此外，RLiD在多个任务中展现了更低的计算成本，证明了其在效率和性能上的优势。

🎯 应用场景

RLiD框架在自然语言处理、对话系统和智能助手等领域具有广泛的应用潜力。通过提高决策效率和准确性，RLiD能够为用户提供更流畅和智能的交互体验，推动智能代理的发展。未来，该方法还可能扩展到其他需要决策优化的AI应用中。

📄 摘要（原文）

Reinforcement learning (RL) has improved the capabilities of large language models (LLMs) across a wide range of tasks. However, token-level RL assigns an action's advantage to the entire generated response, including tokens specifying the parsed action, reasoning chains, and malformed content. Although the environment executes only the parsed action, variation in how the action is expressed in natural language can introduce additional variance into policy-gradient estimates. We propose RLiD (Reinforcement Learning in the Decision plane), a framework that directly optimizes the probabilities of executable action options. RLiD compiles observations, an optional compact memory, and a labeled action menu into the model input, and uses a large decision model (LDM) to select an action in a single forward pass. By eliminating autoregressive token generation and bypassing action parsing, RLiD avoids invalid action outputs and improves RL rollout efficiency. Our analysis shows that, within a fixed text policy, marginalizing over alternative realizations of the same action removes a zero-mean gradient component without changing the expected update. We further distill trained LDM policies into generative LLMs through supervision on their action trajectories. Experiments on ARC, Countdown, and Sokoban demonstrate improved performance or lower computational cost across several settings. On ALFWorld, the complete training and distillation pipeline reaches 99.3% success in 12.7 H100 GPU-hours, compared with 86.6% in 17.3 GPU-hours for token-level RL of the same LLM. With compiled memory, our strongest Qwen2.5-1.5B LDM and distilled generative LLM achieve 100% success on all 134 unseen and 140 seen ALFWorld evaluation games.