SA-VLA: State-aware tokenizer for improving Vision-Language-Action Models' performance

📄 arXiv: 2606.30113v1 📥 PDF

作者: Tengyue Jiang, Chunpu Xu, Jiayue Kang, Yao Mu

分类: cs.RO, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出SA-VLA以解决机器人动作离散化中的状态感知问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 状态感知 动作标记 机器人控制 深度学习 自回归模型 多模态学习

📋 核心要点

  1. 现有的动作标记方法未能考虑机器人的本体状态，导致在不同环境下同一动作的控制效果不一致。
  2. SA-VLA通过状态感知的方式，利用状态与动作特征的交叉注意力和轻量级状态适配器来改进动作解码。
  3. 在RoboTwin的操作任务中，SA-VLA显著提高了成功率，展示了其在实际应用中的有效性和优势。

📝 摘要（中文）

离散动作标记为自回归的视觉-语言-动作(VLA)策略提供了紧凑的接口，但从离散代码准确恢复连续机器人动作仍然具有挑战性。现有的标记器通常将每个离散代码映射到固定的连续动作原型，忽略了机器人的当前本体状态。针对这一问题，本文提出了SA-VLA，一种状态感知的动作标记器，通过机器人状态条件化动作解码。我们研究了两种状态注入机制，分别是状态与动作特征之间的交叉注意力和轻量级状态适配器。SA-VLA在12个RoboTwin操作任务中将平均成功率从0.29提升至0.56，并在三项真实任务的零-shot实验中进一步提升至0.33，证明了状态条件化动作解码在离散VLA策略中有效缩小压缩差距。

🔬 方法详解

问题定义：本文旨在解决离散动作标记在机器人控制中的局限性，现有方法未能考虑机器人当前的本体状态，导致同一动作在不同状态下的控制效果不佳。

核心思路：SA-VLA通过状态感知的方式，条件化动作解码，允许每个离散标记表示一组依赖于状态的连续动作，从而提高动作恢复的准确性。

技术框架：SA-VLA的整体架构包括两个主要模块：状态与动作特征的交叉注意力机制和轻量级状态适配器。交叉注意力用于增强状态信息对动作解码的影响，而状态适配器则预测动作调制因子以实现状态条件化的动作重建。

关键创新：SA-VLA的核心创新在于引入状态适配器，使得每个离散标记能够表示一系列状态依赖的连续动作，从而扩展了有限代码本的有效支持，提升了离散动作建模的效率和兼容性。

关键设计：在设计中，状态适配器的参数设置经过精心调整，以确保其能够有效预测动作调制因子，损失函数则结合了重建误差和状态一致性，以优化模型性能。整体网络结构保持了与现有模型的兼容性，便于集成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在12个RoboTwin操作任务中，SA-VLA将平均成功率从0.29提升至0.56，显示出显著的性能提升。此外，在三项真实任务的零-shot实验中，成功率从0.15提升至0.33，验证了其在实际应用中的有效性。

🎯 应用场景

SA-VLA的研究成果在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的操作能力，该技术能够提升人机协作的效率和安全性，推动智能机器人技术的进一步发展。

📄 摘要（原文）

Discrete action tokenization provides a compact interface for autoregressive VLA policies, but accurately recovering continuous robot actions from discrete codes remains challenging. Existing tokenizers typically map each discrete code to a fixed continuous action prototype, ignoring the robot's current proprioceptive state. This limitation is particularly pronounced in manipulation, where the same action token may require different continuous controls under different joint configurations, object poses, and contact conditions. We therefore propose SA-VLA, a state-aware action tokenizer that conditions action decoding on robot state. We study two state-injection mechanisms for VQ-based action tokenization: cross-attention between state and action features, and a lightweight state adapter that predicts action-wise modulation factors for state-conditioned action modulation and reconstruction. The adapter formulation expands the effective support of a finite codebook by allowing each discrete token to represent a family of state-dependent continuous actions, while preserving the efficiency and compatibility of discrete action modeling. Integrated into an LLM-based VLA policy, SA-VLA supports both autoregressive and parallel action-token decoding with minimal changes to the model interface. On 12 RoboTwin manipulation tasks, SA-VLA improves the average success rate from 0.29 to 0.56 over the strongest tokenizer baseline. In zero-shot sim-to-real experiments on three real-world tasks, it further improves average success from 0.15 to 0.33 over the strongest tokenizer baseline. These results demonstrate that state-conditioned action decoding is a simple and effective mechanism for reducing the compression gap in discrete VLA policies.