Bridging Handheld and Teleoperated Supervision for Contact-Rich Manipulation via State-Gated Experts
作者: Vidullan Surendran, Neehar Peri, David Watkins
分类: cs.RO
发布日期: 2026-06-25
备注: Project Page: https://nperi-rai.github.io/bridge-project/
💡 一句话要点
提出BRIDGE方法以解决手持与遥控监督在接触丰富操作中的融合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 手持数据收集 遥控操作 接触丰富操作 模仿学习 机器人控制 混合策略 门控专家 任务阶段
📋 核心要点
- 现有手持数据收集方法仅能捕获观察到的动作，无法有效支持接触敏感阶段的操作，导致安全性问题。
- 论文提出BRIDGE方法，通过结合手持数据与少量遥控演示，针对任务阶段的不同需求进行有效监督。
- 实验结果表明，BRIDGE方法在三项接触丰富的操作任务中，成功率比仅使用手持数据的基线提高了最多36.7%。
📝 摘要（中文）
手持数据收集系统（如UMI）能够在多样化环境中进行可扩展的数据收集，但仅捕获观察到的动作，而非机器人控制器执行的期望动作。相比之下，遥控操作直接捕获期望动作，但收集过程耗时且效率低下。本文通过任务阶段的动作有效性重新审视这一权衡，发现手持轨迹在宽松的自由空间阶段提供有效监督，但在接触敏感阶段缺乏动态可行性。我们提出了一种混合策略，通过结合手持数据与少量针对性的遥控演示，训练出能够在接触丰富操作中有效工作的策略。具体而言，我们提出了双模态路由模仿数据的方法（BRIDGE），该方法通过门控专家在特定任务阶段头之间进行路由，显著提高了成功率。
🔬 方法详解
问题定义：本文旨在解决手持数据与遥控操作在接触丰富操作中的监督融合问题。现有方法在接触敏感阶段表现不佳，导致安全性和有效性不足。
核心思路：提出BRIDGE方法，通过门控专家在不同任务阶段之间进行智能路由，结合手持数据与遥控演示，以提高接触敏感阶段的操作性能。
技术框架：BRIDGE方法的整体架构包括数据收集模块、门控专家模块和策略训练模块。数据收集模块负责获取手持和遥控数据，门控专家模块根据当前机器人状态选择合适的任务阶段头，策略训练模块则利用混合数据进行策略优化。
关键创新：BRIDGE方法的创新在于引入了双模态路由机制，使得在接触敏感阶段能够有效使用期望动作，从而显著提高了操作成功率。这一机制与传统的简单数据混合方法有本质区别。
关键设计：在BRIDGE方法中，设计了特定的损失函数以平衡手持与遥控数据的影响，并采用了多头注意力机制来增强模型对不同任务阶段的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BRIDGE方法在三项接触丰富的操作任务中，相较于仅使用手持数据的基线，成功率提高了最多36.7%。这一显著提升表明了方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等。通过提升机器人在复杂环境中的操作能力，BRIDGE方法能够在实际应用中提高效率和安全性，推动智能机器人技术的发展。
📄 摘要（原文）
Handheld data collection systems, such as the Universal Manipulation Interface (UMI), enable scalable data collection across diverse environments but only capture observed actions rather than the desired actions executed by a robot controller. In contrast, teleoperation captures desired actions directly, but is prohibitively time-consuming to collect. We revisit this trade-off through the lens of action validity across task phases. We observe that handheld trajectories provide valid supervision in tolerant, free-space phases, but lack dynamic feasibility in contact-sensitive phases, where tracking observed trajectories at high stiffness produces large, unsafe contact forces. We study the interaction between these two supervision types for contact-rich manipulation and find that training policies that combine handheld data with a small number of targeted teleoperated demonstrations provide an efficient hybrid strategy. Specifically, rather than teleoperating the entire task, we only collect partial teleoperated demonstrations for task segments where base handheld policies fail. However, naively mixing handheld and teleoperated phase-specific data yields worse performance than training on handheld data alone. To address this mismatch between observed and desired supervision, we propose Bi-modal Routing for Imitation Data via Gated Experts (BRIDGE), a mixture of diffusion policy experts that routes between specialist task phase heads conditioned on the current robot state. Notably, our approach enables task-phase specific use of desired actions during contact sensitive segments and improves success rates over handheld-only baselines by up to 36.7% across three contact-rich manipulation tasks.