One-to-Two Acting: A Novel Framework for Single-arm Agent Action Expansion to Dual Arms
作者: Youbin Yao, Nieqin Cao, Mingyan Li, Yan Ding, Fuqiang Gu, Chao Chen
分类: cs.RO
发布日期: 2026-06-18
备注: 6 pages, 5 figures, 3 tables
💡 一句话要点
提出ExS2D框架以解决单臂监督下的双臂操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双臂操作 单臂监督 动作扩展 层次化任务 多模态协调
📋 核心要点
- 现有的双臂操作方法需要大量的双臂演示数据，收集过程既昂贵又复杂，限制了其应用。
- ExS2D框架通过单臂监督生成双臂操作，利用层次化的子任务生成和多模态协调器实现高效执行。
- 实验结果显示，ExS2D在仿真中减少了54.4%的执行步骤，并在真实机器人实验中验证了其可靠性。
📝 摘要（中文）
双臂操作可以通过并行执行提高吞吐量，但收集双臂演示以进行训练既昂贵又困难。本文提出了ExS2D，一个层次化的动作扩展框架，能够从单臂监督中实现双臂操作。ExS2D首先从文本指令中生成结构化的子任务，同时明确捕捉时间优先级。然后，通过子任务引导的动作映射将每个子任务转化为可执行的动作。最后，利用多模态大语言模型驱动的协调器进行优先级感知的动作分配和同步规划，以选择无碰撞的双臂执行。仿真实验表明，ExS2D将平均执行步骤减少了54.4%，同时保持了与单臂基线相当的成功率。真实机器人在四个任务上的实验进一步证明了ExS2D在少量单臂样本下的双臂执行的可靠性，同时使用零个双臂演示。
🔬 方法详解
问题定义：本文旨在解决双臂操作中对双臂演示数据需求高的问题，现有方法在收集和训练上存在成本和复杂性。
核心思路：ExS2D框架通过从单臂操作中扩展出双臂操作，利用文本指令生成结构化子任务，并通过多模态模型进行协调，旨在降低对双臂演示的依赖。
技术框架：ExS2D的整体架构包括三个主要模块：1) 从文本指令生成结构化子任务；2) 通过子任务引导的动作映射生成可执行动作；3) 使用协调器进行优先级感知的动作分配和同步规划。
关键创新：ExS2D的创新在于其能够在没有双臂演示的情况下，通过单臂监督实现高效的双臂操作，显著降低了执行步骤。
关键设计：在设计中，采用了层次化的子任务生成方法，结合多模态大语言模型进行协调，确保了动作的无碰撞执行和时间优先级的合理分配。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ExS2D在仿真中将平均执行步骤减少了54.4%，同时在真实机器人实验中成功执行了四个任务，验证了其在少量单臂样本下的可靠性，且无需任何双臂演示。
🎯 应用场景
该研究的潜在应用场景包括工业自动化、服务机器人和家庭助理等领域，能够在减少数据收集成本的同时，提高双臂操作的效率和可靠性。未来，ExS2D框架有望推动更多智能机器人在复杂环境中的应用。
📄 摘要（原文）
Dual-arm manipulation can improve throughput via parallel execution, but collecting bimanual demonstrations for training is costly and difficult. We present ExS2D, a hierarchical action expansion framework that enables dual-arm manipulation from single-arm supervision. ExS2D first generates structured subtasks from textual instructions while explicitly capturing temporal precedence. It then grounds each subtask into executable actions through subtask-guided action mapping in observation. Finally, precedence-aware action allocation and synchronized planning are performed by a multimodal large language model driven coordinator to select collision-free dual-arm executions. Simulation experiments demonstrate that ExS2D reduces the average execution steps by 54.4% while maintaining a comparable success rate to a single-arm baseline. Real-robot experiments on four tasks further demonstrate the reliability of ExS2D for dual-arm execution under few-shot single-arm samples, while using zero bimanual demonstrations.