Plan Right, Then Plan Tight: Symbolic RL for Efficient Embodied Reasoning
作者: Xiangli Shi, Xiaomeng Zhu, Ye Tian, Yuchun Guo, Ziyang Sun, Lujie Yin, Yuxuan Zhou, Yufei Huang
分类: cs.RO
发布日期: 2026-06-30
备注: 18 pages, 10 figures, 14 tables; includes appendix
💡 一句话要点
提出基于BDDL的符号强化学习以提升机器人任务规划效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 具身任务规划 符号强化学习 BDDL规范 视频解析 奖励设计 GroupAdapt调度 机器人技术 自然语言处理
📋 核心要点
- 现有的基于提示和强化学习的规划方法在验证生成计划的有效性时存在不足，缺乏高效的确定性检查机制。
- 本文提出了一种基于BDDL规范的符号强化学习方法，利用视频证据自动构建BDDL，提供数据构建和计划验证的共享接口。
- 在BEHAVIOR-1000上，8B规划器的严格通过率达97.3，较Qwen3-8B基线提升25.9%，同时响应长度压缩79%。
📝 摘要（中文）
具身任务规划要求代理将自然语言指令转化为可执行的动作序列，然而现有的基于提示和强化学习的方法在生成流畅的动作文本时缺乏有效的验证机制。本文提出了一种基于BDDL规范的解决方案，通过视频证据自动构建BDDL，作为数据构建、计划验证和奖励设计的共享接口。结合视频到BDDL解析器、LLM验证器和轻量级符号引擎，提供毫秒级反馈。此外，引入GroupAdapt调度策略，利用批次内通过率作为零成本信号，优化提示的长度容忍度。实验结果表明，8B规划器在BEHAVIOR-1000上取得了97.3的严格通过率，相较于基线Qwen3-8B提升了25.9%。
🔬 方法详解
问题定义：本文旨在解决具身任务规划中，现有方法在生成计划后缺乏有效验证机制的问题。这导致生成的计划可能在目标环境中无效，影响执行效果。
核心思路：提出一种基于BDDL（行为描述语言）的符号强化学习框架，通过自动构建BDDL规范，提供数据构建、计划验证和奖励设计的统一接口，从而实现高效的任务规划。
技术框架：整体架构包括视频到BDDL解析器、LLM验证器和轻量级符号引擎。视频解析器将视频证据转化为BDDL规范，验证器对生成的计划进行有效性检查，符号引擎提供快速反馈。
关键创新：最重要的创新在于利用BDDL作为共享接口，解决了现有方法中缺乏有效验证的痛点，同时引入GroupAdapt调度策略，优化了提示的长度容忍度。
关键设计：在设计中，采用了基于批次内通过率的GroupAdapt调度策略，确保难度较大的提示在训练过程中能够获得更宽松的长度容忍度，随着通过率的提高而逐渐收紧。
🖼️ 关键图片
📊 实验亮点
实验结果显示，8B规划器在BEHAVIOR-1000数据集上取得了97.3的严格通过率，相较于Qwen3-8B基线提升了25.9%。此外，响应长度压缩至207个标记，显示出该方法在有效性和效率上的双重优势。
🎯 应用场景
该研究在家庭、辅助和服务机器人等领域具有广泛的应用潜力。通过提高任务规划的效率和准确性，能够显著提升机器人在复杂环境中的自主决策能力，进而推动智能家居和服务机器人技术的发展。
📄 摘要（原文）
Embodied task planning asks an agent to turn a natural-language instruction into an executable sequence of actions in a physical scene, and is a building block for household, assistive, and service robots. Recent prompting-based and reinforcement-learning planners generate fluent action text but lack a cheap deterministic check that the produced plan is valid in the target world, while high-fidelity simulation is too slow to serve as an inner-loop training signal. The general problem is therefore how to obtain verifiable supervision and rewards for embodied planners without relying on string-level matching or full simulation. Here we show that a single BDDL specification, automatically constructed from open-world video evidence or curated tasks, can serve as a shared interface for data construction, plan verification, and reward design. A video-to-BDDL parser, an LLM verifier, and a lightweight symbolic engine together supply dense feedback at millisecond latency. We further introduce GroupAdapt, a difficulty-aware length schedule that uses the in-batch group pass rate as a zero-cost signal so that hard prompts get wider length tolerance and automatically tighten as their pass rate improves. Under the guidance of the proposed verifier and GroupAdapt schedule, the 8B planner attains a Strict-Pass score of 97.3 on BEHAVIOR-1000, yielding a 25.9 percent relative improvement over the Qwen3-8B baseline. This result exceeds the strongest large-model baseline by 3.5 percent, while simultaneously compressing the response length by 79 percent to 207 tokens, demonstrating both effectiveness and efficiency.