TemporalFlow-VLA: Learning Physically Grounded Execution History for Long-Horizon Robot Manipulation

📄 arXiv: 2608.26821v1 📥 PDF

作者: Jiarui Yang, Yehao Lu, Yuning Su, Yu Zhong, Yufeng Xie, Yazhou Zhang, Haiyu Lan, Kaixiang Lu, Peiwen Lin, Chuang Wang, Junwei Liang, Enyu Li

分类: cs.RO

发布日期: 2026-08-27

💡 一句话要点

提出TemporalFlow-VLA以解决长时间机器人操控中的执行历史问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操控 视觉-语言-动作 时间监督 多阶段任务 执行历史 物理基础 智能制造 自主决策

📋 核心要点

  1. 现有的VLA模型在处理多阶段操控时，无法有效捕捉历史执行对当前动作选择的影响，导致性能下降。
  2. 本文提出TemporalFlow-VLA，通过物理基础的时间监督来学习紧凑的执行历史，从而改善机器人在多阶段操控中的决策能力。
  3. 实验结果表明，TemporalFlow-VLA在长时间、多阶段操控任务中表现优异，成功率显著高于现有方法，尤其在复杂任务中优势明显。

📝 摘要（中文）

视觉-语言-动作（VLA）模型利用预训练的视觉-语言表示进行机器人控制，但简单地添加历史帧无法可靠捕捉最近的物理变化。这在多阶段操控中尤为突出，因为视觉上相似的状态可能需要根据先前的执行采取不同的动作。为了解决这一挑战，本文提出了TemporalFlow-VLA，通过物理基础的时间监督学习紧凑的执行历史。利用记录的机器人状态、机器人几何形状和校准相机，构建机器人-表面时间流作为训练目标，并监督两个与执行对齐的时间查询，为动作专家提供结构化历史。TemporalFlow-VLA在LIBERO上实现了97.63 +/- 0.26%的平均成功率，在LIBERO Long上为96.60 +/- 0.87%，在12个RoboTwin任务中，Clean和Randomized的成功率分别为85.5%和84.2%。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在多阶段机器人操控中无法有效利用历史执行信息的问题。现有方法简单添加历史帧，未能捕捉到物理变化的影响，导致决策不准确。

核心思路：TemporalFlow-VLA通过物理基础的时间监督，学习紧凑的执行历史，从而为动作选择提供结构化的历史信息。这种设计旨在提高机器人在复杂操控任务中的决策能力。

技术框架：该方法的整体架构包括三个主要模块：记录机器人状态和几何信息的传感器模块、构建机器人-表面时间流的训练模块，以及执行对齐的时间查询模块。通过这些模块，TemporalFlow-VLA能够有效整合历史信息。

关键创新：TemporalFlow-VLA的主要创新在于引入物理基础的时间监督机制，提供了与现有方法不同的历史信息处理方式。这种方法不依赖于显式的运动估计或几何处理，简化了部署过程。

关键设计：在模型设计中，采用了特定的损失函数来优化时间查询的准确性，并通过异步特征缓存技术保持服务器端的采样延迟。此外，模型在训练过程中使用了记录的机器人状态和几何信息，以确保学习到的历史信息具有物理基础。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TemporalFlow-VLA在LIBERO数据集上实现了97.63%的平均成功率，其中在LIBERO Long任务上成功率高达96.60%。在12个RoboTwin任务中，Clean和Randomized的成功率分别为85.5%和84.2%，明显优于现有方法，尤其在长时间、多阶段操控任务中表现出色。

🎯 应用场景

TemporalFlow-VLA的研究成果可广泛应用于工业机器人、服务机器人及自动化生产线等领域，提升机器人在复杂环境中的操作能力和灵活性。未来，该技术有望推动机器人在动态和不确定环境中的自主决策能力，促进智能制造和智能家居的发展。

📄 摘要（原文）

Vision-language-action (VLA) models leverage pretrained vision-language representations for robot control, yet simply adding historical frames does not reliably capture recent physical change. This is especially problematic in multi-stage manipulation, where visually similar states may require different actions depending on prior execution. To address this challenge, we present TemporalFlow-VLA, which learns compact execution history through physically grounded temporal supervision. Using recorded robot states, robot geometry, and calibrated cameras, we construct robot-surface temporal flow as a training-only target and supervise two execution-aligned temporal queries that provide structured history to the action expert. The geometric supervision path is not evaluated at deployment. TemporalFlow-VLA achieves 97.63 +/- 0.26% average success on LIBERO, including 96.60 +/- 0.87% on LIBERO Long, and 85.5%/84.2% Clean/Randomized success across 12 RoboTwin tasks. It shows its clearest advantage over prior methods on longer-horizon, multi-stage manipulation. Controlled history interventions show that action prediction depends on both historical content and temporal order. With asynchronous feature caching, temporal conditioning maintains single-frame-level server-side sampling latency without additional historical-encoding overhead. Overall, TemporalFlow-VLA provides a compact, physically grounded interface for exploiting ordered execution history without explicit motion estimation or geometric processing at deployment.