Teaching a Tree to Recover: Online Distillation of an LLM Supervisor with Counterfactual Replay
作者: Kristian Ceder, Kilian Freitag, Knut Åkesson
分类: cs.RO
发布日期: 2026-10-29
💡 一句话要点
提出在线蒸馏决策树以解决移动机器人规划问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自主移动机器人 决策树 在线蒸馏 反事实重放 复杂环境 模型预测控制 语言模型 智能决策
📋 核心要点
- 现有方法在复杂环境中容易导致机器人停滞，且频繁查询LLM的成本高且效率低。
- 论文提出通过在线蒸馏将LLM转化为决策树，利用反事实重放来优化决策过程。
- 实验结果显示，决策树在20个新布局中成功处理了至少18个案例，显著提升了机器人在复杂环境中的表现。
📝 摘要（中文）
自主移动机器人通常将全局规划器与局部模型预测控制器（MPC）结合使用，但在复杂环境中，非凸障碍物规避和有限的时间范围可能导致机器人停滞。最近的研究在每个异常情况下查询大型语言模型（LLM）作为监督者，这种方法既缓慢又昂贵。本文提出在线蒸馏LLM为决策树的方法，通过反事实重放为恢复过程标记必要、不必要或有害的标签，从而淘汰无用规则。在20个未见布局的仿真中，决策树在至少18个情况下正确处理，能够达到目标或在没有可行路径时请求帮助。该树在测试时不发出LLM查询，且与专家设计的规则相匹配。语言模型不仅可以作为运行时监督者，还可以作为监督者的设计者。
🔬 方法详解
问题定义：本文旨在解决自主移动机器人在复杂环境中因规划失败而停滞的问题。现有方法依赖于频繁查询LLM，导致效率低下和高成本。
核心思路：论文提出在线蒸馏LLM为决策树的方案，通过反事实重放标记恢复策略的有效性，从而优化决策过程，减少对LLM的依赖。
技术框架：整体架构包括三个主要模块：全局规划器、局部MPC和决策树。决策树通过在线学习不断更新，适应新的环境和情况。
关键创新：最重要的创新在于将LLM在线蒸馏为决策树，使其在测试时无需查询LLM，提升了决策速度和效率。与传统方法相比，决策树能够更好地处理复杂情况。
关键设计：在设计中，采用反事实重放机制为决策树生成标签，设置了适应性规则更新机制，确保树能够在新环境中快速学习和适应。
🖼️ 关键图片
📊 实验亮点
实验结果表明，决策树在20个未见布局中成功处理了至少18个案例，能够在没有可行路径时请求帮助，且在测试时不需要发出LLM查询，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自主驾驶、无人机导航和工业机器人等。通过提高机器人在复杂环境中的决策能力，能够显著提升其自主性和效率，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Autonomous mobile robots commonly pair a global planner with a local model predictive controller (MPC), but nonconvex obstacle avoidance and a limited horizon can make the robot freeze in complex layouts. Deciding whether to replan, wait, or call for help is a supervisory decision. Recent work queries a large language model (LLM) supervisor on every anomaly, which is slow and costly. We instead distill the LLM online into a decision tree. After each training episode, counterfactual replay labels recoveries as needed, unnecessary, or harmful. These labels retire unhelpful rules. In simulation, on 20 unseen layouts where the MPC alone freezes, the tree handles at least 18 correctly across all seeds, either by reaching the goal or by calling for help when no feasible path exists. The tree matches both an always-query LLM supervisor and expert-designed rules, while issuing no LLM queries at test time. Handwritten rules cannot anticipate the long tail of situations a physical robot will encounter. Online distillation is a promising remedy: the tree handles familiar cases, and the LLM is consulted only for new ones, whose validated recoveries become new rules. Language models can thus also serve as designers of supervisors rather than only as runtime supervisors.