See Selectively, Act Adaptively: Dual-Level Structural Decomposition for Bimanual Robot Manipulation

📄 arXiv: 2606.13279 📥 PDF

作者: Yoon-Ji Choi, Young-Chae Son, Soo-Chul Lim

分类: cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出双层结构分解以解决双手机器人操控中的视觉与交互问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双手操控 视觉处理 动作生成 机器人技术 专家混合 动态调整 结构分解

📋 核心要点

  1. 现有的单一VLA策略未能有效处理双手操控中的视觉相关性和交互结构，导致策略学习困难。
  2. 提出的双层结构分解框架通过动态调整视觉输入和分解动作生成路径来适应双手交互模式。
  3. 在RoboTwin 2.0模拟环境和真实世界任务中，模型成功率分别提升27.7%和43.3%，显著优于基线方法。

📝 摘要（中文）

在双手机器人操控中，任务相关的视觉信息随着任务阶段和上下文的变化而变化，同时两只手的交互模式在独立和协调之间切换，这使得策略学习变得复杂。现有的单一视觉-语言-动作（VLA）策略通过单一共享表示和动作生成路径处理多样的视觉输入和交互模式，往往未能分别考虑视觉相关性和双手交互结构。为了解决这一问题，本文提出了一种基于双层结构分解的双手操控VLA框架。该框架通过视图选择性视觉路由器动态调整腕部视图的贡献，以强调相关视觉线索，同时通过交互感知的专家混合（MoE）将动作生成分解为协调和单臂路径，以适应不同的双手交互模式。实验结果表明，该方法在六个模拟任务和三个长时间真实任务中均显著提升了成功率。

🔬 方法详解

问题定义：本文旨在解决双手机器人操控中视觉信息与交互模式变化带来的策略学习挑战。现有的单一VLA策略未能有效分离视觉相关性与双手交互结构，导致性能不足。

核心思路：提出双层结构分解框架，通过视图选择性视觉路由器和交互感知的专家混合（MoE）来分别处理视觉输入和动作生成，以适应不同的交互模式。

技术框架：整体架构包括两个主要模块：视图选择性视觉路由器和交互感知的MoE。前者动态调整视觉输入的权重，后者将动作生成分为协调和单臂路径。

关键创新：最重要的创新在于将视觉处理与动作生成分开，允许模型根据任务需求灵活调整，从而提高了双手操控的鲁棒性。

关键设计：在模型设计中，采用了动态权重调整机制和专家混合策略，确保在不同任务阶段能够有效利用视觉信息和交互结构。

📊 实验亮点

实验结果显示，提出的方法在六个模拟双手操控任务中成功率提升27.7%，在三个长时间真实任务中提升43.3%。相较于单模块变体，模型在两种环境下均表现出色，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、服务机器人和医疗机器人等。通过提升双手机器人在复杂任务中的操控能力，能够显著提高生产效率和服务质量，未来可能推动机器人技术在更多领域的广泛应用。

📄 摘要（原文）

In bimanual robotic manipulation, task-relevant visual information varies with the task stage and context, while the interaction of the two arms shifts between independent and coordinated modes, making policy learning challenging. However, existing monolithic Vision-Language-Action (VLA) policies process diverse visual inputs and interaction patterns through a single shared representation and action generation pathway, often failing to separately account for visual relevance and bimanual interaction structure. To address this issue, we propose a bimanual manipulation VLA framework based on Dual-Level Structural Decomposition. The View-Selective Visual Router dynamically adjusts wrist-view contributions to emphasize relevant visual cues, while the Interaction-Aware Action Mixture-of-Experts (MoE) decomposes action generation into coordinated and arm-wise pathways to adapt to varying bimanual interaction modes. We evaluate the proposed method on six simulated bimanual manipulation tasks in RoboTwin 2.0 and three long-horizon real-world tasks. Our model improves the overall average success rate over a monolithic baseline by 27.7% in simulation and 43.3% in real-world evaluation, while consistently outperforming single-module variants across both settings. These results demonstrate that jointly considering selective visual processing and explicit decomposition of bimanual interaction structures provides an effective inductive bias for robust bimanual manipulation.