DiMuRe: Diagnosis-Guided Multilevel Recovery for Robotic Task Execution

📄 arXiv: 2611.04226v1 📥 PDF

作者: Renkai Yi, Yuwei Wu, Haoyu Zhang, Penghao Dai, Zhi Gao, Jin Chen, Che Sun

分类: cs.RO, cs.AI

发布日期: 2026-11-03

备注: 15 pages, 3 figures, including appendices

💡 一句话要点

提出DiMuRe框架以解决机器人任务执行中的干扰问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人任务执行 恢复策略 多模态学习 鲁棒性 干扰检测 程序重用 视觉-语言-动作 智能机器人

📋 核心要点

  1. 现有机器人任务执行方法在遭遇干扰时，无法有效选择适当的恢复策略，导致任务失败。
  2. DiMuRe框架通过利用阶段特定证据和方法前提，选择程序重用或预定义的恢复技能，从而提高任务执行的鲁棒性。
  3. 实验结果表明，局部DiMuRe在801个案例中实现了77.65%的成功率，较原程序提升了近19%，而完整DiMuRe成功率达81.90%。

📝 摘要（中文）

在机器人任务执行中，干扰可能使得下一步动作的条件失效，尽管任务程序的其他部分仍然有效。因此，恢复系统必须选择适合当前状态的响应。本文提出了DiMuRe（诊断引导的多层次恢复）框架，利用阶段特定的证据和方法前提来选择程序重用或预定义的恢复技能，包括有限的视觉-语言-动作（VLA）抓取。在原程序退出后，多模态大型语言模型（MLLM）能够根据图像和执行反馈生成纠正代码。局部验证检查每次恢复尝试的结果。此外，我们还引入了LIBERO-Disturb基准，支持在执行中干扰下的鲁棒性和恢复，适用于基于程序的代理和VLA策略。在801个调度的干扰Encore开发案例中，局部DiMuRe（程序重用和恢复技能）实现了77.65%的完整任务成功率，而原程序在相同物理步骤限制下为58.68%。完整DiMuRe在终端重新规划、额外步骤限制和早期交接下实现了81.90%的成功率，且局部DiMuRe每个调度回合使用的物理步骤少于原程序。

🔬 方法详解

问题定义：本文旨在解决机器人在执行任务时遭遇干扰后的恢复问题。现有方法在干扰发生时往往无法有效选择适当的恢复策略，导致任务执行失败。

核心思路：DiMuRe框架通过诊断引导的方式，结合阶段特定的证据和方法前提，选择合适的程序重用或预定义的恢复技能，以应对干扰带来的挑战。这样的设计使得机器人能够在复杂环境中更灵活地执行任务。

技术框架：DiMuRe框架包括多个模块：首先是干扰检测模块，识别任务执行中的干扰；其次是恢复策略选择模块，根据当前状态选择程序重用或恢复技能；然后是多模态大型语言模型（MLLM），用于生成纠正代码；最后是局部验证模块，检查恢复尝试的结果。

关键创新：DiMuRe的主要创新在于其诊断引导的多层次恢复机制，能够在执行过程中动态选择恢复策略，与传统的静态恢复方法相比，显著提高了任务的成功率和灵活性。

关键设计：在设计中，DiMuRe采用了多模态输入，包括图像和执行反馈，利用MLLM生成代码。此外，局部验证模块确保每次恢复尝试的有效性，优化了恢复过程中的决策质量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，局部DiMuRe在801个调度的干扰案例中实现了77.65%的完整任务成功率，相较于原程序的58.68%提升了近19%。完整DiMuRe在终端重新规划和额外步骤限制下成功率达81.90%，展示了其在复杂任务执行中的优势。

🎯 应用场景

DiMuRe框架具有广泛的应用潜力，特别是在复杂和动态的机器人任务执行场景中，如工业自动化、服务机器人和无人驾驶等领域。通过提高机器人在干扰情况下的恢复能力，该研究能够显著提升机器人系统的鲁棒性和实用性，推动智能机器人技术的发展。

📄 摘要（原文）

Disturbances can invalidate the conditions required by a robot's next action even when much of its task program remains useful. A recovery system must therefore choose a response suited to the current state. We present DiMuRe (diagnosis-guided multilevel recovery), a framework for robot-use agents that uses phase-specific evidence and method preconditions to select program reuse or predefined recovery skills, including bounded vision-language-action (VLA) grasping. After the original program exits, a multimodal large language model (MLLM) can generate corrective code from images and execution feedback. Local verification checks the outcome of each recovery attempt. We also introduce LIBERO-Disturb, a benchmark for robustness and recovery under mid-execution disturbances, supporting program-based agents and VLA policies. On 801 scheduled disturbed Encore development cases, Local DiMuRe (program reuse and recovery skills) achieves 77.65% complete-task success, compared with 58.68% for the original program under the same physical-step allowance. Full DiMuRe achieves 81.90% with terminal replanning, an additional step allowance, and early handoff. Local DiMuRe also uses fewer physical steps per scheduled episode than the original program.