When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning

📄 arXiv: 2606.16995v1 📥 PDF

作者: Nathan Gavenski, Juarez Monteiro, Francisco Galuppo, Adriano Veloso, Odinaldo Rodrigues

分类: cs.AI, cs.LG

发布日期: 2026-06-15

备注: LM4Plan Workshop at ICML 2026

💡 一句话要点

提出PACT框架以解决强化学习在陌生环境中的决策问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 小型语言模型 规划与决策 机器人导航 自动驾驶 深度学习 异步执行

📋 核心要点

  1. 现有的强化学习方法在面对陌生环境时，往往缺乏有效的规划能力，导致策略性能下降。
  2. 本文提出PACT框架，通过结合快速反应的RL策略与缓慢的SLM规划器，实现了高效的决策过程。
  3. 在FrozenLake的三种不同难度配置中，PACT显著优于所有基线，展示了其在复杂环境中的有效性。

📝 摘要（中文）

强化学习（RL）策略在陌生环境中常常表现不佳，缺乏明确的深思熟虑。本文提出了一种混合架构PACT（计划、对齐、承诺、思考），将快速的反应式RL策略与缓慢的深思熟虑小型语言模型（SLM）规划器相结合。PACT异步调用SLM生成和验证候选行动计划。一旦通过模拟验证计划的安全性、可行性和完整性，便直接执行该计划，绕过RL策略而无需重新训练或修改。在三个不同难度的FrozenLake配置上进行评估，PACT的表现超越所有基线，表明深思熟虑的规划与反应式执行的结合在这些环境中比单独使用任一方法更具优势。

🔬 方法详解

问题定义：本文旨在解决强化学习在陌生环境中决策能力不足的问题。现有方法往往缺乏深思熟虑的规划，导致策略性能下降。

核心思路：PACT框架结合了快速反应的RL策略与缓慢的SLM规划器，利用SLM进行异步规划和验证，从而提高决策的安全性和有效性。

技术框架：PACT的整体架构包括两个主要模块：反应式RL策略和SLM规划器。SLM负责生成和验证候选行动计划，而RL策略则在计划验证后直接执行。

关键创新：PACT的核心创新在于将深思熟虑的规划与反应式执行相结合，允许在不修改RL策略的情况下，直接执行经过验证的计划。这种设计使得两者的优势得以互补。

关键设计：在PACT中，SLM的参数设置为2B，确保了其在生成和验证计划时的高效性。通过模拟验证计划的安全性、可行性和完整性，确保了执行的可靠性。具体的损失函数和网络结构细节在论文中进行了详细描述。

📊 实验亮点

在FrozenLake的三种配置中，PACT框架的表现超越所有基线，显示出其在复杂环境中的优势。具体而言，PACT在高难度配置下的成功率提升显著，表明其在强化学习领域的有效性和实用性。

🎯 应用场景

PACT框架在机器人导航、自动驾驶和游戏AI等领域具有广泛的应用潜力。通过结合反应式学习与深思熟虑的规划，PACT能够在复杂和动态的环境中做出更为安全和有效的决策，提升系统的智能水平和适应能力。

📄 摘要（原文）

Reinforcement Learning (RL) policies often degrade in unfamiliar environments because they lack explicit deliberation. We propose Plan, Align, Commit, Think (PACT), a hybrid architecture that combines a fast, reactive RL policy with a slow, deliberative Small Language Model (SLM) planner. PACT invokes the SLM asynchronously to generate and validate candidate action plans. Once a plan is verified through simulation as safe, feasible, and complete, it is executed directly, bypassing the RL policy without retraining or modifying it. Evaluated on three FrozenLake configurations of increasing difficulty, PACT outperforms all baselines while relying on a 2B-parameter SLM backbone, suggesting that deliberative planning and reactive execution are more powerful in concert than either is alone in these settings.