LaGO: Latent Action Guidance for Online Reinforcement Learning

📄 arXiv: 2606.24669v1 📥 PDF

作者: Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

分类: cs.AI

发布日期: 2026-06-23

备注: 9 pages, 2 figures. Accepted at the ICML 2026 Workshop on Large Language Models for Planning (LM4Plan)

💡 一句话要点

提出LaGO框架以改善在线强化学习中的决策效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线强化学习 潜在动作引导 大型语言模型 策略优化 机器人控制

📋 核心要点

  1. 现有方法通常将大型语言模型作为直接控制器，导致动作生成不精确且不可靠。
  2. LaGO框架利用预训练的LLM作为潜在动作先验，柔性引导在线策略优化，提升决策质量。
  3. 实验结果显示，LaGO在CLEVR-Robot和Meta-World上成功率显著提升，证明了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在规划和顺序决策中展现出强大的潜力，但以往的研究往往将其作为直接控制器，这需要精确的动作生成，且在实践中可能不可靠。本文提出了在线强化学习的潜在动作引导框架（LaGO），该框架利用预训练的LLM作为潜在动作先验，柔性引导在线策略优化，而不是将LLM视为明确的规划者或控制器。在CLEVR-Robot和Meta-World这两个基准测试中的实验表明，LaGO在奖励和成功率上均优于传统的PPO方法，特别是在CLEVR-Robot上，平均成功率从15.1%提升至27.2%，在Meta-World上从2.7%提升至15.2%。分析进一步表明，强大的预训练LLM能够提供更有效的引导，表明LLM知识可以改善规划和在线决策。

🔬 方法详解

问题定义：现有强化学习方法在使用大型语言模型时，往往将其作为直接控制器，这导致了对动作生成的高精度要求，且在实际应用中表现不稳定。

核心思路：LaGO框架提出了一种新的思路，通过将预训练的LLM作为潜在动作先验，来柔性引导在线策略优化，而不是直接依赖LLM进行控制。这样的设计旨在提高决策的稳定性和有效性。

技术框架：LaGO的整体架构包括三个主要模块：预训练LLM模块、潜在动作生成模块和在线策略优化模块。预训练LLM提供动作先验，潜在动作生成模块根据当前状态生成候选动作，在线策略优化模块则基于这些候选动作进行策略更新。

关键创新：LaGO的核心创新在于将LLM的知识用于潜在动作引导，而非直接控制，这一方法显著降低了对动作生成精度的依赖，提升了在线学习的效率。

关键设计：在设计中，LaGO采用了特定的损失函数来平衡策略优化与潜在动作引导之间的关系，同时在网络结构上结合了LLM的输出与当前策略的状态信息，以实现更有效的引导。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，LaGO在CLEVR-Robot基准测试中将平均成功率从15.1%提升至27.2%，在Meta-World中从2.7%提升至15.2%。这些结果表明，LaGO框架在在线强化学习中显著提高了决策性能，优于传统的PPO方法。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要实时决策的场景。通过引入LLM的知识，LaGO框架能够在复杂环境中提升决策的准确性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have shown strong potential for planning and sequential decision-making, but prior work often relies on using them as direct controllers, which requires precise action generation and can be unreliable in practice. This paper proposes Latent Action Guidance for Online Reinforcement Learning (LaGO), a framework that uses a pretrained LLM as a latent action prior to softly guide online policy optimization, rather than treating the LLM as an explicit planner or controller. Experiments on both a discrete-control benchmark, CLEVR-Robot, and a continuous-control benchmark, Meta-World, demonstrate that LaGO consistently improves both reward and success rate over Vanilla PPO. In particular, LaGO increases the average success rate from 15.1% to 27.2% on CLEVR-Robot and from 2.7% to 15.2% on Meta-World. Our analysis further shows that stronger pretrained LLMs provide more effective guidance, suggesting that LLM knowledge can improve planning and online decision-making.