CofactVLA: Deconfounding Vision-Language-Action Models via Counterfactual Intervention

📄 arXiv: 2608.04396v1 📥 PDF

作者: Yan Zhang, Yinan Wu, Haoran Duan, Jungong Han

分类: cs.CV

发布日期: 2026-08-05

💡 一句话要点

提出CofactVLA以解决视觉-语言-动作模型中的因果混淆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 因果干预 机器人操作 多模态学习 去混淆技术

📋 核心要点

  1. 现有的视觉-语言-动作模型在处理视觉覆盖现象时，容易受到因果混淆，导致对语言指令的误解。
  2. 本文提出了CofactVLA，通过构建双路径去混淆图，动态隔离视觉混淆因素，提升模型对语言的理解能力。
  3. 实验结果显示，CofactVLA在多个仿真基准上达到新的最优性能，并在真实场景中显著提高了成功率。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作中取得了显著进展，但在处理视觉覆盖现象时面临挑战。由于密集视觉流与稀疏语言指令之间的严重模态不平衡，VLA模型常常受到因果混淆的影响。为系统性地缓解这种偏差，本文提出了CofactVLA，一个新颖的因果干预框架，通过动态构建语言屏蔽的反事实分支，隔离并中和视觉混淆因素。实验表明，CofactVLA在多种仿真基准上建立了新的最先进水平，并在真实机器人实验中显示出其因果有效性，成功率在分布外场景下提高了52.3%。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型中的因果混淆问题，现有方法往往过度依赖视觉信息，忽视语言指令的作用，导致模型性能下降。

核心思路：CofactVLA通过构建双路径去混淆图，动态生成语言屏蔽的反事实分支，旨在隔离视觉混淆因素，从而更好地捕捉语言指令的语义意图。

技术框架：CofactVLA的整体架构包括两个主要模块：动作级正交投影引导（OPG）和特征级反事实协方差减少（CCR）。OPG通过几何投影将事实速度场与反事实视觉偏差分离，而CCR则通过惩罚协方差差异的正特征空间来去混淆潜在表示。

关键创新：CofactVLA的核心创新在于其动态构建的反事实分支和双路径去混淆图，这与现有方法的静态处理方式形成鲜明对比，能够更有效地处理因果混淆问题。

关键设计：在设计中，OPG和CCR的损失函数被精心设置，以确保在提取语义意图的同时，抑制视觉混淆因素的影响，具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CofactVLA在多个仿真基准上实现了新的最先进性能，尤其在真实世界的机器人实验中，成功率在分布外场景下提高了52.3%，显示出其强大的因果有效性和广泛的适用性。

🎯 应用场景

CofactVLA的研究成果在机器人操作、自动化控制和人机交互等领域具有广泛的应用潜力。通过提高模型对语言指令的理解能力，该方法能够有效提升机器人在复杂环境中的操作成功率，推动智能机器人技术的进步。

📄 摘要（原文）

Vision-Language-Action (VLA) models have driven significant progress in robotic manipulation, yet they fundamentally struggle with the vision-override phenomenon. Driven by the severe modality imbalance between dense visual streams and sparse linguistic instructions, VLAs frequently fall prey to causal confusion. Instead of treating language as the primary causal driver, the policy entirely bypasses the original instruction by overfitting to spurious visual confounders, such as prominent objects or familiar layouts. To systematically alleviate this bias, we formalize the process of action generation as a Dual-path Deconfounding Graph (DDG) and propose CofactVLA, a novel causal intervention framework. By dynamically constructing a language-masked counterfactual branch within a single forward pass, CofactVLA isolates and neutralizes visual confounders through two synergistic mechanisms. First, Action-Level Orthogonal Projection Guidance (OPG) geometrically projects the factual velocity field away from the counterfactual visual bias during continuous flow matching, extracting the pure semantic intent. Second, Feature-Level Counterfactual Covariance Reduction (CCR) mathematically deconfounds latent representations by penalizing the positive eigenspace of the covariance difference, explicitly suppressing dominant visual shortcuts while preserving the causal language intent. Extensive experiments demonstrate that CofactVLA establishes a new state-of-the-art across diverse simulation benchmarks. Beyond simulation, real-world robot experiments demonstrate the causal efficacy of our method in bridging the generalization gap, yielding a 52.3\% absolute success rate gain under out-of-distribution scenarios.