Observing and Controlling Features in Vision-Language-Action Models

📄 arXiv: 2603.05487v1 📥 PDF

作者: Hugo Buurmeijer, Carmen Amo Alonso, Aiden Swann, Marco Pavone

分类: cs.RO

发布日期: 2026-03-05

💡 一句话要点

提出特征可观测性和可控性方法，实现对Vision-Language-Action模型行为的精准调控。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Vision-Language-Action模型 具身智能 特征可观测性 特征可控性 线性干预 最优控制 行为调控

📋 核心要点

  1. VLA模型复杂性高，LLM的可解释性方法难以直接迁移，限制了对其内部机制的理解和控制。
  2. 提出特征可观测性和可控性概念，通过线性分类器观察特征，并使用最优控制进行线性干预。
  3. 实验证明，轻量级干预能可靠引导机器人行为，实现VLA与用户偏好和任务要求的实时对齐。

📝 摘要（中文）

视觉-语言-动作模型(VLA)在具身智能方面取得了显著进展。虽然其架构与大型语言模型(LLM)有部分相似之处，但由于其多模态输入/输出以及Transformer和Diffusion混合头的特性，VLA表现出更高的复杂性。这导致LLM中机械可解释性的研究成果，即解释内部模型表示如何与其输出行为相关联，无法直接应用于VLA。本文通过引入和分析两个主要概念：特征可观测性和特征可控性，来弥合这一差距。我们首先研究线性编码在表示空间中的特征，并展示如何通过线性分类器观察它们。然后，我们使用基于最优控制的最小线性干预，精确地放置内部表示，并将VLA的输出引导到期望的区域。结果表明，有针对性的轻量级干预可以可靠地引导机器人的行为，同时保持闭环能力。我们通过仿真实验在不同的VLA架构（$π_{0.5}$和OpenVLA）上证明，VLA具有可解释的内部结构，可以进行在线自适应而无需微调，从而实现与用户偏好和任务要求的实时对齐。

🔬 方法详解

问题定义：现有Vision-Language-Action模型（VLA）虽然在具身智能任务中表现出色，但其内部机制复杂，难以解释。现有从LLM借鉴的可解释性方法无法直接应用到VLA上，导致难以理解和控制VLA的行为。因此，需要一种方法来理解VLA内部表示与外部行为之间的关系，并实现对VLA行为的精准调控。

核心思路：论文的核心思路是，通过研究VLA内部表示空间中线性编码的特征，来理解和控制VLA的行为。具体来说，首先通过线性分类器来观察这些特征（特征可观测性），然后使用基于最优控制的线性干预来改变这些特征，从而引导VLA的输出到期望的区域（特征可控性）。这种方法的核心在于假设VLA的内部表示具有一定的线性结构，可以通过线性方法进行分析和控制。

技术框架：该方法主要包含两个阶段：特征观测和特征控制。在特征观测阶段，首先提取VLA的内部表示，然后训练一个线性分类器来识别这些表示中编码的特定特征。在特征控制阶段，使用基于最优控制的线性干预来改变VLA的内部表示，从而引导VLA的输出到期望的区域。整个过程不需要对VLA进行微调，而是通过在线干预来实现行为的调控。

关键创新：该论文的关键创新在于提出了特征可观测性和特征可控性的概念，并将其应用于VLA模型的行为调控。与现有方法相比，该方法不需要对VLA进行微调，而是通过在线干预来实现行为的调控，这使得该方法更加灵活和高效。此外，该方法还利用了最优控制理论，使得干预更加精准和可控。

关键设计：在特征观测阶段，线性分类器的选择和训练是关键。论文中使用了标准的线性分类器，并使用交叉熵损失函数进行训练。在特征控制阶段，最优控制器的设计是关键。论文中使用了线性二次调节器（LQR），并根据VLA的动态特性和期望的行为目标来设计LQR的权重矩阵。此外，论文还考虑了干预的轻量级，即尽量减少干预对VLA原有行为的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法可以通过轻量级的线性干预，可靠地引导机器人的行为，同时保持闭环能力。在$π_{0.5}$和OpenVLA等不同VLA架构上的仿真实验表明，该方法可以实现VLA与用户偏好和任务要求的实时对齐，而无需进行微调。这证明了VLA具有可解释的内部结构，并且可以通过在线自适应来实现行为的调控。

🎯 应用场景

该研究成果可应用于机器人控制、人机交互等领域。例如，可以根据用户偏好实时调整机器人的行为，使其更好地适应不同的任务需求。此外，该方法还可以用于诊断VLA模型的故障，并对其进行修复。未来，该方法有望推动具身智能的发展，使机器人能够更好地理解和适应人类的需求。

📄 摘要（原文）

Vision-Language-Action Models (VLAs) have shown remarkable progress towards embodied intelligence. While their architecture partially resembles that of Large Language Models (LLMs), VLAs exhibit higher complexity due to their multi-modal inputs/outputs and often hybrid nature of transformer and diffusion heads. This is part of the reason why insights from mechanistic interpretability in LLMs, which explain how the internal model representations relate to their output behavior, do not trivially transfer to VLA counterparts. In this work, we propose to close this gap by introducing and analyzing two main concepts: feature-observability and feature-controllability. In particular, we first study features that are linearly encoded in representation space, and show how they can be observed by means of a linear classifier. Then, we use a minimal linear intervention grounded in optimal control to accurately place internal representations and steer the VLA's output towards a desired region. Our results show that targeted, lightweight interventions can reliably steer a robot's behavior while preserving closed-loop capabilities. We demonstrate on different VLA architectures ($π_{0.5}$ and OpenVLA) through simulation experiments that VLAs possess interpretable internal structure amenable to online adaptation without fine-tuning, enabling real-time alignment with user preferences and task requirements.