See Selectively, Act Adaptively: Dual-Level Structural Decomposition for Bimanual Robot Manipulation

📄 arXiv: 2606.13279v1 📥 PDF

作者: Yoon-Ji Choi, Young-Chae Son, Soo-Chul Lim

分类: cs.RO

发布日期: 2026-06-11

💡 一句话要点

提出双层结构分解以解决双手机器人操控中的视觉与交互问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双手机器人 视觉-语言-动作 结构分解 动态调整 专家混合 任务操控 人机协作

📋 核心要点

  1. 现有的单一VLA策略未能有效处理双手操控中的视觉相关性和交互结构，导致策略学习困难。
  2. 本文提出的双层结构分解框架通过动态调整视觉输入和分解动作生成，适应不同的交互模式。
  3. 实验结果表明，所提方法在模拟和真实世界任务中均显著提升了成功率，验证了其有效性。

📝 摘要（中文）

在双手机器人操控中，任务相关的视觉信息随着任务阶段和上下文而变化，同时两个手臂的交互模式在独立和协调之间切换，这使得策略学习变得复杂。现有的单一视觉-语言-动作（VLA）策略通过单一共享表示和动作生成路径处理多样的视觉输入和交互模式，往往无法有效区分视觉相关性和双手交互结构。为了解决这一问题，本文提出了一种基于双层结构分解的双手操控VLA框架。该框架通过视图选择性视觉路由器动态调整手腕视图的贡献，强调相关的视觉线索，同时通过交互感知的专家混合（MoE）将动作生成分解为协调和单臂路径，以适应不同的双手交互模式。我们在RoboTwin 2.0上评估了该方法在六个模拟双手操控任务和三个长时间真实世界任务中的表现，结果显示该模型在模拟中成功率提高了27.7%，在真实世界评估中提高了43.3%。

🔬 方法详解

问题定义：本文旨在解决双手机器人操控中视觉信息和交互模式的复杂性，现有方法未能有效区分视觉相关性和双手交互结构，导致策略学习困难。

核心思路：提出双层结构分解框架，通过视图选择性视觉路由器和交互感知的专家混合（MoE）来分别处理视觉输入和动作生成，从而适应不同的交互模式。

技术框架：整体架构包括两个主要模块：视图选择性视觉路由器和交互感知的MoE。前者动态调整视觉输入的贡献，后者将动作生成分解为协调和单臂路径。

关键创新：最重要的创新在于将视觉处理和动作生成分解为两个层次，允许模型在不同的交互模式下灵活调整，显著提高了双手操控的鲁棒性。

关键设计：在设计中，视图选择性视觉路由器通过动态权重调整视觉输入，MoE则通过专家网络分别处理协调和单臂动作，确保模型在复杂任务中的适应性和效率。

📊 实验亮点

实验结果显示，所提方法在六个模拟任务中成功率提高了27.7%，在三个真实世界任务中成功率提高了43.3%。与单一模块变体相比，所提框架在各个设置中均表现出色，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、服务机器人和人机协作等场景。通过提高双手机器人在复杂任务中的操控能力，能够显著提升生产效率和安全性，未来可能在智能制造和家庭服务中发挥重要作用。

📄 摘要（原文）

In bimanual robotic manipulation, task-relevant visual information varies with the task stage and context, while the interaction of the two arms shifts between independent and coordinated modes, making policy learning challenging. However, existing monolithic Vision-Language-Action (VLA) policies process diverse visual inputs and interaction patterns through a single shared representation and action generation pathway, often failing to separately account for visual relevance and bimanual interaction structure. To address this issue, we propose a bimanual manipulation VLA framework based on Dual-Level Structural Decomposition. The View-Selective Visual Router dynamically adjusts wrist-view contributions to emphasize relevant visual cues, while the Interaction-Aware Action Mixture-of-Experts (MoE) decomposes action generation into coordinated and arm-wise pathways to adapt to varying bimanual interaction modes. We evaluate the proposed method on six simulated bimanual manipulation tasks in RoboTwin 2.0 and three long-horizon real-world tasks. Our model improves the overall average success rate over a monolithic baseline by 27.7% in simulation and 43.3% in real-world evaluation, while consistently outperforming single-module variants across both settings. These results demonstrate that jointly considering selective visual processing and explicit decomposition of bimanual interaction structures provides an effective inductive bias for robust bimanual manipulation.