Tri-Manual Visuomotor Imitation Learning of Robot Policies
作者: James Zhao, Mingyuan Ba, Weiming Zhi
分类: cs.RO
发布日期: 2026-07-28
备注: 9 pages, 9 figures. Equal contribution by James Zhao and Mingyuan Ba
💡 一句话要点
提出TriManPolicy以解决三手臂机器人控制不匹配问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 三手臂控制 模仿学习 机器人政策 依赖感知 任务协调 遥操作 行为克隆
📋 核心要点
- 现有的双手遥操作假设操作者与机器人之间的控制通道数量匹配，但在三手臂系统中，这一假设失效，导致控制延迟。
- 论文提出TriManPolicy，通过依赖感知的三臂调度（DATS）技术，允许单个操作者为三只手臂示范行为，并重新调整示范的时间顺序。
- 在六个真实世界的挑战任务中，使用DATS调整后的示范训练的策略展示了更高的协调效率，同时保持了相似的任务成功率。
📝 摘要（中文）
双手遥操作为收集机器人示范提供了有效方式，但在三手臂系统中，操作者与机器人之间的控制通道数量不匹配。为此，本文提出了TriManPolicy，一个三手臂模仿学习系统，使单个操作者能够为三只手臂示范行为。其核心组件是依赖感知的三臂调度（DATS），该方法通过保留示范的手臂运动并重新考虑其发生时机，离线调整示范数据。DATS在保持任务成功率的同时，提升了三只手臂的协调效率。离线分析进一步表明，DATS改变了手臂间的监督方式，而不仅仅是去除空闲时间。
🔬 方法详解
问题定义：本论文旨在解决三手臂机器人控制中的操作者与机器人控制通道不匹配的问题。现有的双手遥操作方法无法有效处理三手臂系统中的独立运动记录，导致行为克隆重现了由接口引起的延迟，而非任务所需的延迟。
核心思路：论文的核心思路是通过依赖感知的三臂调度（DATS）技术，保留示范的手臂运动并重新考虑其发生时机，从而提高三只手臂的协调性。DATS在离线阶段对示范进行重新调整，以确保手臂运动的顺序和使用符合任务要求。
技术框架：TriManPolicy的整体架构包括数据收集、示范调整和策略训练三个主要模块。首先，操作者通过双手遥操作收集示范数据；然后，DATS对示范数据进行离线调整；最后，使用调整后的数据训练一个同步策略，以控制三只手臂。
关键创新：最重要的技术创新点在于DATS的设计，它不仅保留了手臂运动的局部传感器运动段，还根据人类审查的任务顺序和手臂使用约束重新定位这些运动。这一方法与现有的单纯去除空闲时间的策略有本质区别。
关键设计：DATS的关键设计包括固定时长的局部传感器运动段的保留和重新定位策略，确保在调整过程中不损失重要的运动信息。此外，DATS的实现不需要依赖图或调度器，从而简化了部署过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用DATS调整后的示范训练的策略在六个真实世界任务中展示了更高的协调效率，任务成功率与基线相当。具体而言，DATS显著减少了手臂间的空闲时间，提高了整体操作效率。
🎯 应用场景
该研究的潜在应用领域包括机器人手术、工业自动化和人机协作等场景，能够有效提升多手臂机器人在复杂任务中的表现。通过优化示范数据的使用，TriManPolicy有望在未来的机器人控制系统中发挥重要作用，推动智能机器人技术的发展。
📄 摘要（原文）
Bimanual teleoperation provides an effective way to collect robot demonstrations, but it assumes that the operator and robot have matching numbers of simultaneous control channels. This assumption breaks for tri-manual systems: the robot can coordinate three arms concurrently, whereas a single operator can continuously control only two. Pairwise mode switching may therefore record otherwise independent motions sequentially, causing behaviour cloning to reproduce delays imposed by the interface rather than required by the task. We present TriManPolicy, a tri-manual imitation learning system that allows one operator to demonstrate behaviours for three arms. Its central component is Dependency-Aware Tri-Arm Scheduling (DATS). The key idea is to preserve the demonstrated arm motions while reconsidering when they occur. DATS retimes demonstrations offline by preserving local sensorimotor segments of fixed duration and repositioning them according to constraints on task order and arm usage that are reviewed by a human. The resulting data train a single synchronous policy for all three arms, while deployment requires neither the dependency graph nor the scheduler. Across six challenging tasks performed in the real world, policies trained on demonstrations retimed by DATS exhibit more efficient coordination while maintaining comparable observed task success. Offline analysis further shows that DATS changes the supervision across arms rather than merely removing idle periods.