S$^2$-VLA: State-Space Guided Vision-Language-Action Models for Long-Horizon Manipulation

📄 arXiv: 2606.27872v1 📥 PDF

作者: Zhipeng Xie, Zongyi Han, Xiangyi Wei, Shiliang Sun, Yang Li, Jing Zhao

分类: cs.RO, cs.AI

发布日期: 2026-06-26

备注: Accepted to IJCAI 2026

💡 一句话要点

提出S$^2$-VLA以解决长时间操作中的累积误差问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间操作 视觉-语言-动作 自适应注意力 状态空间 特征融合 机器人技术 累积误差

📋 核心要点

  1. 现有的视觉-语言-动作模型在长时间操作中容易出现累积误差，导致性能下降。
  2. 本文提出的S$^2$-VLA框架通过状态空间引导的自适应注意力机制，动态调整信息融合方式。
  3. 实验结果表明，S$^2$-VLA在LIBERO和SimplerEnv等长时间操作基准上表现优异，超越了更大规模的模型。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作中表现出强大的能力，但在长时间任务中，由于累积误差传播，其性能显著下降。这一限制主要源于静态特征融合机制，无法适应任务执行的不同阶段。为了解决这一问题，本文提出了S$^2$-VLA框架，引入了状态空间引导的自适应注意力机制（SSGAA），该机制通过跟踪任务进展来生成动态门控权重，从而自适应地融合视觉特征、任务意图和时间动作序列的信息。尽管参数量仅为2B，S$^2$-VLA在长时间操作基准测试中持续超越更大规模的7B模型，展现了自适应特征融合在长时间机器人操作中的重要性。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在长时间操作中因静态特征融合机制导致的累积误差问题。现有方法无法有效适应任务执行的不同阶段，限制了其性能。

核心思路：提出的S$^2$-VLA框架通过状态空间引导的自适应注意力机制（SSGAA），动态生成门控权重，以便在任务执行过程中自适应地融合视觉、语言和动作信息，从而提高模型的适应性和准确性。

技术框架：S$^2$-VLA的整体架构包括三个主要模块：视觉特征提取模块、任务意图识别模块和时间动作序列生成模块。SSGAA机制在这三个模块之间动态调整信息融合，确保模型在不同任务阶段的有效性。

关键创新：最重要的创新在于引入了状态空间引导的自适应注意力机制，使得模型能够根据任务进展动态调整信息融合方式。这一设计与传统静态特征融合方法本质上不同，显著提升了模型在长时间任务中的表现。

关键设计：在参数设置上，S$^2$-VLA保持在2B的紧凑规模，同时通过动态门控机制优化信息融合。损失函数设计上，考虑了任务执行的一致性和准确性，确保模型在不同阶段的表现均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，S$^2$-VLA在LIBERO和SimplerEnv等长时间操作基准上表现优异，超越了7B规模的模型，显示出显著的性能提升，证明了自适应特征融合在长时间机器人操作中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过提高长时间任务的执行能力，S$^2$-VLA能够在复杂环境中实现更高效的操作，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-Language-Action (VLA) models have demonstrated strong capabilities in robotic manipulation, but their performance degrades significantly in long-horizon tasks due to cumulative error propagation. This limitation largely arises from static feature fusion mechanisms that rely on fixed weights to combine visual, language, and action representations, preventing the model from adapting to different phases of task execution. To address this limitation, we propose S$^2$-VLA, a framework that introduces a State-Space Guided Adaptive Attention (SSGAA) mechanism. SSGAA maintains a belief state that tracks task progression and generates dynamic gating weights to adaptively fuse information from three complementary sources visual features for spatial perception, task intents for high-level task planning, and temporal action sequences for execution consistency. This adaptive fusion allows the model to shift its focus throughout task execution, aligning with the evolving requirements of different task stages. Despite its compact 2B parameter size, S$^2$-VLA consistently outperforms larger 7B-scale models and achieves state-of-the-art performance on long-horizon manipulation benchmarks, including LIBERO and SimplerEnv. highlighting the importance of adaptive feature fusion for long-horizon robotic manipulation.