Which Hand Was Late? Diagnosis for Robot Failure Recovery in Bimanual Tool Use

📄 arXiv: 2610.37533v1 📥 PDF

作者: Baptiste Bonin, Caro Strickland, Audrey Durand

分类: cs.RO, cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出基于视觉-语言模型的双手工具使用故障诊断方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 双手工具使用 故障诊断 视觉-语言模型 机器人操作 修复策略

📋 核心要点

  1. 现有的故障诊断方法主要针对单臂操作，无法有效处理双手工具使用中出现的多种复杂故障。
  2. 本文提出了一种基于视觉-语言模型的故障诊断方法，能够识别双手操作中的多种故障类型，并通过传感器数据进行分析。
  3. 实验结果表明，提出的修复策略在故障原因不可识别时，能够与已知原因的修复效果相当，展现出良好的实用性。

📝 摘要（中文）

机器人操作中的故障诊断越来越依赖视觉-语言模型（VLM），这些模型通常是在单臂故障的基础上进行训练和评估的。然而，双手工具使用引入了更多种类的故障，例如工具在仍被握住时滑出插槽、两个正确的手势在不同时间执行，以及同时因两种原因失败的尝试。本文通过模拟双手工具使用任务，分析不同传感通道对故障诊断的贡献，提出了一种修复策略，能够在故障原因不可识别时进行升级修复，效果与已知故障原因的修复相当。

🔬 方法详解

问题定义：本文旨在解决双手工具使用中的故障诊断问题，现有方法主要集中于单臂故障，无法有效处理双手操作中的复杂情况，如工具滑出或手势时间不一致等。

核心思路：论文提出了一种基于视觉-语言模型的故障诊断方法，通过分析不同传感通道的数据，识别双手操作中的故障原因，并设计了一种修复策略以应对不可识别的故障。

技术框架：整体架构包括数据采集模块、故障诊断模块和修复策略模块。数据采集模块通过传感器获取双手操作的实时数据，故障诊断模块分析数据以识别故障原因，修复策略模块根据诊断结果执行相应的修复操作。

关键创新：最重要的技术创新在于能够同时处理多种故障类型，并通过视觉-语言模型有效识别故障原因，与现有方法相比，具有更高的适应性和准确性。

关键设计：在模型设计中，采用了多通道传感器数据融合技术，优化了损失函数以提高故障识别的准确性，并通过实验验证了不同参数设置对模型性能的影响。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，提出的修复策略在故障原因不可识别时，能够修复的故障数量与已知原因的修复效果相当，展现出良好的实用性和灵活性。具体而言，在两次尝试内，修复成功率达到了与已知故障原因相同的水平，证明了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和医疗机器人等多种场景，能够显著提升机器人在复杂环境中的故障处理能力，减少人为干预，提高工作效率。未来，该方法有望在智能制造和自动化领域发挥重要作用。

📄 摘要（原文）

Failure diagnosers for robot manipulation are increasingly vision--language models (VLMs), trained and evaluated on single-arm failures produced by perturbing a successful demonstration. Bimanual tool use adds failures of other kinds: a tool that slips out of its socket while still held, two correct gestures made at different times, and attempts that fail for two reasons at once. On a simulated bimanual tool-use task whose failure causes are read from the recorded trace, we measure what each sensing channel lets a diagnoser tell. The tool's slip is read on the tool hand; which hand was late is read on both arms, while a sensor on one hand reads its own hand's delay and at most part of the other's; and whether a late attempt was also pushed too weakly is not identifiable from passive sensing when the tool hand is late. Within two attempts, a repair policy that escalates when the cause is not identifiable repairs as many failures as one told the true cause. A VLM's internal state carries the late hand almost perfectly, along a direction no closer to the one its answer reads than a random one; whether the answer reports it depends on the wording of the question.