CAC-VLA: Context-Gated Action Conditioning for Vision-Language-Action Models

📄 arXiv: 2607.04816v1 📥 PDF

作者: Yifu Xiong, Wenhao Yu, Jiaxuan Lin, Bojun Zou, Jiahao Li, Lu Zhang, Yanyong Zhang, Jianmin Ji

分类: cs.RO

发布日期: 2026-07-06

备注: 16 pages, 6 figures

💡 一句话要点

提出CAC-VLA以解决视觉-语言-动作模型的动作条件化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 动作条件化 上下文门控 潜在动作接口 机器人操作 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在动作条件化方面存在不足，未能有效优化多模态表示以支持精确的运动控制。
  2. CAC-VLA框架通过学习潜在动作接口，直接在视觉-语言模型中进行动作条件化，避免了生成可执行轨迹的复杂性。
  3. 在LIBERO和LIBERO-Plus数据集上的实验结果显示，CAC-VLA显著提高了成功率，验证了其有效性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型已成为通用机器人操作的有前景的范式，其中视觉-语言表示用于条件化连续动作生成。然而，这些表示并未明确优化用于动作条件化，导致动作专家需要弥补多模态理解与精确运动控制之间的差距。最近的动作推理方法引入了额外模块以生成明确的动作计划或动作空间推理信号，显示了动作级指导的好处，但通常需要独立的动作生成框架。我们提出了CAC-VLA，一个上下文门控动作条件化框架，直接在VLM中学习轻量级的潜在动作接口。CAC-VLA训练VLM预测粗到细的潜在动作，适应性地利用它们通过上下文门来条件化动作专家。这使得VLM本土的动作条件化成为可能，同时校准潜在动作指导对专家动作生成的影响。实验结果表明，CAC-VLA在LIBERO和LIBERO-Plus上表现出色，成功率分别达到98.3%和89.5%。

🔬 方法详解

问题定义：本论文旨在解决现有视觉-语言-动作模型在动作条件化中的不足，特别是多模态理解与精确运动控制之间的鸿沟。现有方法通常依赖于额外的模块来生成动作计划，导致复杂性和效率问题。

核心思路：CAC-VLA框架的核心思想是通过上下文门控机制，直接在视觉-语言模型中学习潜在动作接口，从而实现更有效的动作条件化。这种设计使得模型能够在不生成可执行轨迹的情况下，预测粗到细的潜在动作。

技术框架：CAC-VLA的整体架构包括一个视觉-语言模型（VLM），该模型通过上下文门与动作专家进行交互。模型首先学习从未来动作片段中编码的潜在动作，然后利用这些潜在动作来条件化专家的动作生成。

关键创新：CAC-VLA的主要创新在于其上下文门控机制，使得潜在动作指导能够动态调整对专家动作生成的影响。这一设计与传统方法的本质区别在于，前者在同一框架内实现了动作条件化，而后者则依赖于独立的动作生成模块。

关键设计：在模型设计中，采用了轻量级的潜在动作表示，损失函数则结合了动作预测的准确性与上下文门的有效性。此外，网络结构经过优化，以确保在不同任务中的泛化能力和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CAC-VLA在LIBERO数据集上取得了98.3%的平均成功率，在LIBERO-Plus上达到了89.5%。这些结果表明，上下文门控潜在动作条件化显著提升了连续专家控制的效果，相较于传统方法具有明显的优势。

🎯 应用场景

CAC-VLA框架具有广泛的应用潜力，尤其是在机器人操作、自动化控制和人机交互等领域。通过提升视觉-语言-动作模型的动作条件化能力，该研究能够促进更智能的机器人系统，实现更复杂的任务执行和人机协作。

📄 摘要（原文）

Vision-Language-Action (VLA) models have become a promising paradigm for generalist robot manipulation, where visual-language representations are used to condition continuous action generation. However, these representations are not explicitly optimized for action conditioning, leaving the action expert to bridge the gap between multimodal understanding and precise motor control. Recent action-reasoning methods introduce additional modules to generate explicit action plans or action-space reasoning signals, demonstrating the benefit of action-level guidance but often requiring separate action-generation frameworks. We propose CAC-VLA, a Context-Gated Action Conditioning framework that learns a lightweight latent-action interface directly within the VLM. Instead of generating executable trajectories, CAC-VLA trains the VLM to predict coarse-to-fine latent actions, which are structured representations encoded from future action segments, and adaptively leverages them to condition the action expert via a context gate. This enables VLM-native action conditioning while calibrating the influence of latent-action guidance on expert action generation. Experiments on LIBERO and LIBERO-Plus demonstrate the effectiveness of CAC-VLA, achieving 98.3% average success rate on LIBERO and 89.5% LIBERO-Plus, suggesting that context-gated latent-action conditioning is an effective interface for continuous expert control.