Say the Same, Act Differently: Diagnosing and Steering Text-Action Divergence in Reasoning VLAs
作者: Zihao Feng, Qingzhao Zhang, Chunyu Xia, Bo Yu, Z. Morley Mao, Ramesh Govindan
分类: cs.LG, cs.CR, cs.CV, cs.RO
发布日期: 2026-11-03
备注: Accepted to NeurIPS 2026. 23 pages, 3 figures, 8 tables
💡 一句话要点
提出TNAS以解决视觉语言行动模型中的文本与行动偏差问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言行动 文本中性行动子空间 安全监控 物理控制 模型鲁棒性
📋 核心要点
- 现有的视觉语言行动模型在推理过程中，文本与物理行动之间存在显著的偏差，导致安全性监控的困难。
- 本文提出了一种文本中性行动子空间（TNAS）诊断方法，通过视觉扰动改变物理行动而不影响文本内容。
- 实验结果显示，TNAS引导的攻击在154个驾驶场景中，碰撞率显著提高，同时文本一致性得到保持，提升了模型的安全性监控能力。
📝 摘要（中文）
本文研究了视觉语言行动（VLA）模型中，文本与物理行动之间的偏差问题。以往的攻击方法通过破坏文本内容来影响模型的推理，而我们展示了视觉扰动可以在不改变文本的情况下，改变模型的物理行动。通过引入文本中性行动子空间（TNAS）诊断，我们发现行动敏感方向与文本损失梯度几乎正交。实验结果表明，TNAS引导的攻击在多个场景中显著提高了碰撞率，同时保持了文本内容的一致性，证明了监控推理VLA模型时需要直接验证预测的行动通道。
🔬 方法详解
问题定义：本文旨在解决视觉语言行动（VLA）模型中，文本与物理行动之间的偏差问题。现有方法主要通过破坏文本内容来影响模型的推理，导致监控困难。
核心思路：论文提出了文本中性行动子空间（TNAS）作为一种新的诊断工具，利用视觉扰动改变物理行动，而不改变生成的文本，从而实现对模型行为的有效控制。
技术框架：整体架构包括两个主要部分：TNAS诊断和基于TNAS的攻击策略。TNAS诊断用于识别文本与行动之间的敏感方向，而攻击策略则利用该方向进行有效的视觉扰动。
关键创新：最重要的技术创新在于提出了TNAS诊断方法，揭示了行动敏感方向与文本损失梯度之间的正交关系，从而实现了在保持文本一致性的同时，显著改变模型的物理行动。
关键设计：在实验中，设置了不同的扰动规范，采用了特定的损失函数来平衡文本保持与行动改变的目标，同时在网络结构上进行了优化，以增强模型对扰动的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TNAS引导的攻击在154个驾驶场景中，导致52.6%的场景出现碰撞，而未引导的攻击仅为4.55%。同时，TNAS指导下的文本保持率从83.0%提升至89.5%，文本漂移减少68.4%。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和人机交互等。通过提高视觉语言行动模型的安全性和可靠性，能够在实际应用中更好地保障用户安全，推动智能系统的广泛应用与发展。
📄 摘要（原文）
Reasoning vision-language-action (VLA) models pair physical control with natural-language rationales that supervisors can read to monitor embodied safety. Prior attacks on VLA reasoning corrupt the rationale itself and leave visible evidence in the text. We show that visual perturbations can instead alter the physical action while keeping the generated rationale word-for-word identical. At the shared text/action interface of Alpamayo for driving and InstructVLA for manipulation, our text-neutral action-subspace (TNAS) diagnostic shows that the locally most action-sensitive direction is nearly orthogonal to the active text-loss gradients, with 1.87% and 5.28% norm overlap. At equal hidden-state perturbation norms across both models, interventions along this text-neutral residual shift actions 4.64x to 47.8x more than text-gradient perturbations, whereas text-gradient perturbations induce 21.2x to 277x more text drift. Steering visual perturbations along this direction reaches the same decoupling from the image. Across 154 obstacle-annotated driving scenes in Alpamayo, TNAS-guided attacks induce a new collision under a word-for-word identical rationale in 52.6% of scenes under full-image perturbations and 35.1% under a localized forward-camera patch, compared with 4.55% for unguided action attacks. Relative to a text-preserving baseline, TNAS guidance raises exact rationale preservation from 83.0% to 89.5% and cuts teacher-forced text drift by 68.4% at a comparable collision rate. In InstructVLA, TNAS guidance cuts text drift by 40.5% and preserves the exact response on 85.0% of examples alongside a 1.73-unit action-chunk shift. An unchanged rationale therefore cannot certify a safe action, so monitors for reasoning VLAs must verify the predicted action channel directly.