STAR: Steering Action Representations during Inference

📄 arXiv: 2610.41009v1 📥 PDF

作者: Guangyu Zhao, Yongchang Zhang, Haoxuan Ru, Kaichen He, Haoran Wen, Kun Zhan, Zeyu Zhang, Yin Li, Yiwu Zhong

分类: cs.RO, cs.AI

发布日期: 2026-10-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出STAR方法以解决视觉语言动作模型的晚层基础差距问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作模型 机器人操作 对象感知 无训练推理 指数移动平均 动态调整 性能提升

📋 核心要点

  1. 现有视觉语言动作模型在晚层动作表示中未能充分保留与任务相关的视觉基础，导致性能下降。
  2. STAR方法通过对晚层残差更新应用指数移动平均，解决了晚层基础差距问题，提升了对象感知能力。
  3. 在机器人操作基准测试中，STAR方法使得平均任务成功率提升了4.0个百分点，显示出显著的效果改进。

📝 摘要（中文）

视觉语言动作模型（VLA）能够将语言指令和视觉观察映射到机器人动作，展现出在机器人操作任务中的强大能力。然而，我们的实验发现，接近动作输出的动作表示未能充分保留与任务相关的视觉基础。为了解决这一晚层基础差距，我们提出了STAR（STeering Action Representations），这是一种针对预训练VLA的无训练推理方法。STAR通过对晚层残差更新应用指数移动平均，使得后续动作表示能够继承早期层的对象感知更新方向，而无需模型更新或架构变化。此外，它还利用最近的自我感知状态来调整混合强度，在执行动态变化迅速时采用保守混合。实验结果表明，STAR提高了晚层对象感知能力，平均任务成功率提升了4.0个百分点。

🔬 方法详解

问题定义：本文旨在解决视觉语言动作模型在晚层动作表示中存在的基础差距问题。现有方法在接近动作输出时未能有效保留与任务相关的视觉信息，影响了机器人操作的成功率。

核心思路：STAR方法的核心思路是通过指数移动平均对晚层残差更新进行处理，使得后续的动作表示能够继承早期层的对象感知更新方向，从而增强模型的视觉基础能力。

技术框架：STAR方法的整体架构包括对晚层残差的更新处理和自我感知状态的利用。具体流程为：首先计算晚层的残差更新，然后应用指数移动平均，最后根据自我感知状态调整混合强度。

关键创新：STAR的主要创新在于其无训练推理的特性，通过简单的后处理方法提升了模型的对象感知能力，与现有需要模型更新的技术相比，具有更高的灵活性和适应性。

关键设计：在设计上，STAR方法使用了指数移动平均作为核心算法，并根据执行动态的变化调整混合强度，以确保在快速变化的环境中保持稳定的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，STAR方法在机器人操作基准测试中，平均任务成功率提升了4.0个百分点，显著优于对比基线，证明了其在提升晚层对象感知能力方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过提升机器人在复杂环境中的任务成功率，STAR方法能够显著提高机器人在实际应用中的效率和可靠性，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Vision-language-action models (VLAs) map language instructions and visual observations to robot actions, showing strong capabilities across robotic manipulation tasks. However, in our probing experiment, we find that action representations near the action output do not fully preserve task-relevant visual grounding. Motivated by this late-layer grounding gap, we introduce STAR, for STeering Action Representations, a training-free inference method for pre-trained VLAs. STAR applies an exponential moving average over late-layer residual updates, allowing later action representations to inherit object-aware update directions from earlier layers without model updates or architectural changes. It further uses recent proprioceptive states to adapt the mixing strength, using conservative mixing when execution dynamics change rapidly. Experiments on robot manipulation benchmarks show that STAR improves late-layer object awareness and increases average task success rates by 4.0 percentage points. Our code is available at https://github.com/PKU-VaLuE-Lab/STAR.