Co-VLA: Coordination-Aware Structured Action Modeling for Dual-Arm Vision-Language-Action Systems

📄 arXiv: 2606.20285v1 📥 PDF

作者: Yandong Wang, Jiaqian Yu, Xiongfeng Peng, Lu Xu, Yamin Mao, Weiming Li, Jaewook Yoo, Dongwook Lee, Daehyun Ji, Mingbo Zhao, Chao Zhang

分类: cs.RO

发布日期: 2026-06-18

💡 一句话要点

提出Co-VLA以解决双臂机器人协调性不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双臂机器人 视觉-语言-动作 协调性 结构化动作 潜在感知控制器 工业自动化 人机协作

📋 核心要点

  1. 现有的视觉-语言-动作模型在双臂操作中缺乏有效的协调性，导致在复杂任务中表现不佳。
  2. 本文提出Co-VLA框架，通过引入结构化动作专家和协调感知损失，增强双臂操作的协调性和稳定性。
  3. 实验表明，Co-VLA在紧密协调任务中成功率提高27%，在真实场景中的表现显著提升，任务完成时间减少25%。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在单臂和双臂机器人操作中展现出强大的能力。然而，现有方法在处理紧密耦合的双臂任务时，隐式协调不足以确保可靠和稳定的行为。为此，本文提出了Co-VLA框架，通过引入显式结构先验来增强VLA模型的协调性。该方法在先进的视觉-语言骨干网络上实现，采用结构化动作专家（SAE）替代单一动作头，明确区分任务级协调意图和执行调整。实验结果表明，Co-VLA在紧密协调任务中成功率提高27%，在真实场景中的表现更是翻倍，任务完成时间减少25%。

🔬 方法详解

问题定义：本文旨在解决双臂机器人在执行紧密耦合任务时的协调性不足问题。现有方法依赖隐式协调，无法满足复杂任务的执行需求。

核心思路：提出Co-VLA框架，通过引入显式结构先验，增强视觉-语言-动作模型的协调性。具体而言，采用结构化动作专家（SAE）来替代传统的单一动作头，以便更好地处理双臂协调。

技术框架：Co-VLA框架包括三个主要模块：1) 结构化动作专家（SAE），用于生成协调动作；2) 协调感知损失，塑造共享和残余潜在变量；3) 潜在感知控制器（LAC），实时调节执行的同步性和安全性。

关键创新：最重要的创新在于引入了显式的结构化先验，使得模型能够在动作生成层面上明确区分任务级协调意图和执行调整，这与现有方法的隐式协调机制形成鲜明对比。

关键设计：在损失函数设计上，采用了模块化的协调感知损失，确保共享潜在变量编码任务级意图，而残余潜在变量则用于捕捉每个手臂的执行调整。此外，LAC模块在关节命令级别操作，兼容标准控制管道，无需额外的力或阻抗控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Co-VLA在紧密协调任务中成功率提高27%，在真实场景中的表现从13%提升至27%，任务完成时间减少高达25%。这些数据表明，Co-VLA显著优于传统的单一模型基线，展示了其在复杂任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、服务机器人以及人机协作等场景。通过提升双臂机器人的协调性，Co-VLA能够在复杂的操作任务中实现更高的效率和安全性，未来可能对智能制造和家庭服务等领域产生深远影响。

📄 摘要（原文）

Vision-language-action (VLA) models show strong capabilities in single and dual-arm robotic manipulation. Prior works show coordinated bimanual behaviors can emerge from end-to-end learning, leveraging large vision-language backbones with continuous action prediction. However, as bimanual tasks become tightly coupled and execution constraints become critical, implicit coordination alone is insufficient to ensure reliable, interpretable, and stable behavior. In this work, we propose Co-VLA, a coordination-aware bimanual manipulation framework introducing explicit structural priors into VLA models. We instantiate our method on a state-of-the-art vision-language backbone by replacing its monolithic action head with a Structured Action Expert (SAE) designed for bimanual coordination. Specifically, we introduce explicit structure at the action generation level with a modular coordination-aware loss that shapes shared and residual latents according to task-specific structures. The shared latent encodes task-level coordination intent, while residual latents capture execution adjustments for each arm. At deployment, a Latent-Aware Controller (LAC) interprets the learned representations to modulate synchronization strength, execution asymmetry, smoothness, and safety constraints in real time. LAC operates at the joint-command level and remains compatible with standard control pipelines without requiring force or impedance control. Experiments across simulation and real-world benchmarks show Co-VLA significantly outperforms monolithic baselines, achieving a 27% success rate gain in tight-coordination tasks, more than doubling performance in OOD real-world scenarios (from 13% to 27%), and reducing task completion time by up to 25%.