Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models

📄 arXiv: 2606.19297v1 📥 PDF

作者: Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro

分类: cs.LG, cs.RO

发布日期: 2026-06-17

备注: Project page: https://tttonyalpha.github.io/act2answer/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Act2Answer以评估VLA模型的常识与知识保留能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 常识推理 知识保留 机器人学习 多模态评估

📋 核心要点

  1. 现有的VLA模型在知识敏感任务上表现不佳，难以区分知识缺失与低级控制泛化不良的问题。
  2. 论文提出Act2Answer协议，通过行动回答问题，减少控制混淆，评估VLA模型的知识保留能力。
  3. 实验结果显示，VLA在简单概念上表现良好，但在复杂语义类别上存在显著差距，且VQA共同训练有助于知识保留。

📝 摘要（中文）

具身视觉-语言-行动（VLA）模型通常通过在机器人数据上微调强大的预训练视觉语言模型（VLM）获得，但在适应后它们保留了多少常识和事实知识尚不明确。我们引入了Act2Answer，这是一个轻量级协议，通过要求代理通过行动回答问题，将VLM知识基准适应于VLA评估。每个问题变成一个短暂的桌面情景，代理执行单一的物体放置动作以选择候选答案，从而减少控制混淆。我们策划了一个涵盖多种常识和世界知识类别的测试套件，并引入逐层意图探测以定位VLM主干和行动头中与答案相关的信息。在对7个VLA模型和9个VLM基线的大规模研究中，我们系统地对模型进行分类，发现VLA在简单概念上表现良好，但在丰富语义类别上相较于其源VLM存在更大差距，VQA共同训练与更好的知识保留相关，且与答案相关的信号在中间VLA层达到峰值，但在上层减弱。

🔬 方法详解

问题定义：本文旨在解决具身视觉-语言-行动（VLA）模型在知识敏感任务中的表现不佳问题，现有方法未能有效区分知识缺失与控制泛化不良的影响。

核心思路：提出Act2Answer协议，通过将问题转化为代理执行单一物体放置动作的情景，要求模型通过行动选择答案，从而评估其知识保留能力。

技术框架：整体架构包括问题生成、代理行动执行和答案选择三个主要模块。首先生成问题情景，然后代理执行动作，最后根据动作结果选择答案。

关键创新：最重要的创新在于将VLM知识基准适应于VLA评估，采用行动驱动的方式减少了控制混淆，提供了更清晰的知识保留评估。

关键设计：在实验中，设计了逐层意图探测机制，以定位与答案相关的信息，发现中间层信号强度较高，而上层信号减弱。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLA模型在简单概念上表现良好，然而在复杂语义类别上相较于源VLM存在显著差距。VQA共同训练与知识保留呈正相关，且与答案相关的信号在中间层达到峰值，提供了新的研究方向。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、智能助手和人机交互等场景，能够提升模型在复杂环境中的决策能力和知识应用能力。未来，该方法可能推动VLA模型在实际应用中的知识保留和理解能力的提升。

📄 摘要（原文）

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.