StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models
作者: Zhe Liu, Jinghua Hou, Yuxiang Lu, Zhenya Yang, Xianzhe Fan, Junwei Luo, Junyi Li, Ruihua Han, Zhi Hou, Hengshuang Zhao
分类: cs.CV
发布日期: 2026-08-26
💡 一句话要点
提出StreamPI以解决VLA模型在时间建模中的局限性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 时间建模 多模态融合 机器人操作 自回归推理 流式训练 指令锚定 鲁棒性
📋 核心要点
- 现有的VLA模型如pi0.5在时间建模上存在局限，无法有效保留过去的观察信息，影响空间感知能力。
- StreamPI通过指令锚定的时间建模，将视觉和语言信息结合为原子单元，增强了模型的时间推理能力。
- 在真实机器人任务和LIBERO基准测试中，StreamPI在多种任务上均优于pi0.5，显示出显著的性能提升。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在机器人操作中表现出色，但现有的最先进模型如pi0.5仅在单帧范式下运行，限制了其保留过去观察和精确空间感知的能力。本文提出了StreamPI，一个流式多模态时间建模框架，使单帧VLA具备时间推理能力而无需引入额外参数。其核心设计为指令锚定的时间建模，将每对（视觉观察，语言指令）视为原子时间单元，通过双向注意力实现跨模态融合，同时通过因果注意力保持自回归流推理。实验表明，StreamPI在多种任务中优于pi0.5。
🔬 方法详解
问题定义：本文旨在解决现有VLA模型在时间建模中的不足，特别是如何有效保留过去观察以提高空间感知能力。现有方法如pi0.5仅依赖单帧信息，无法进行有效的时间推理。
核心思路：StreamPI的核心思路是通过指令锚定的时间建模，将每对（视觉观察，语言指令）视为一个原子时间单元，利用双向注意力实现跨模态融合，同时通过因果注意力保持自回归流推理，使语言指令在任务执行中作为持久的语义锚。
技术框架：StreamPI的整体架构包括两个主要模块：指令锚定的时间建模模块和随机间隔流式训练策略。前者实现了视觉与语言的有效融合，后者则通过设置适当的帧间隔（例如每3帧）来加速和流畅动作执行。
关键创新：StreamPI的主要创新在于无需额外参数即可实现时间推理能力，并通过随机化间隔提高了对帧时间扰动的鲁棒性，支持异步部署。
关键设计：在设计上，StreamPI采用了双向注意力机制和因果注意力机制，确保信息的有效传递与融合。此外，利用LLM主干的长度外推能力，StreamPI能够无缝继承预训练的单帧权重，并支持灵活的单帧与多帧推理。
🖼️ 关键图片
📊 实验亮点
实验结果显示，StreamPI在多种任务上均优于pi0.5，尤其在内存依赖和精确感知场景中表现突出，具体性能提升幅度达到XX%（具体数据待补充）。此外，StreamPI在LIBERO基准测试中也取得了显著的提升，验证了其有效性和鲁棒性。
🎯 应用场景
StreamPI的研究成果在机器人操作、自动化控制和人机交互等领域具有广泛的应用潜力。通过提升模型的时间推理能力，StreamPI能够更好地处理复杂的动态环境，增强机器人在实际任务中的表现。未来，该框架可能推动更智能的机器人系统的发展，提升其自主决策能力。
📄 摘要（原文）
Vision-Language-Action (VLA) models have demonstrated effectiveness in robot manipulation, yet state-of-the-art models such as pi0.5 operate under a single-frame paradigm, limiting their ability to retain past observations and develop precise spatial perception. In this paper, we propose StreamPI, a streaming multimodal temporal modeling framework that equips single-frame VLA with temporal reasoning capability without introducing any additional parameters. One core design is instruction-anchored temporal modeling. It treats each (visual observation, language instruction) pair as an atomic temporal unit: bidirectional attention within each pair enables cross-modal fusion, while causal attention across pairs preserves autoregressive streaming inference. This ensures the language instruction serves as a persistent semantic anchor throughout task execution. To bridge the gap between synchronous training and asynchronous real-robot deployment, we introduce a andom-interval streaming training strategy: a proper inter-frame interval (e.g., every 3 frames) enables faster and smoother action execution. Beyond this, randomizing the interval further improves robustness to frame-timing perturbations, supporting asynchronous deployment in practice. Furthermore, by leveraging the length extrapolation capability of the LLM backbone, StreamPI seamlessly inherits pretrained single-frame weights and supports flexible single-frame and multi-frame inference. Experiments on real-robot tasks spanning memory-dependent and precise perception scenarios, as well as the simulation benchmark LIBERO, demonstrate that StreamPI outperforms pi0.5 across diverse tasks.