TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks

📄 arXiv: 2608.24101v1 📥 PDF

作者: Zhi Cao, Howard Ji, Kevin Zhang, Kuangzhi Ge, Li Fei-Fei, Jiajun Wu, Huang Huang

分类: cs.RO

发布日期: 2026-08-25

💡 一句话要点

提出TrAct以解决机器人控制与视觉预测之间的对接问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人控制 视觉预测 视觉轨迹 世界模型 多模态融合 决策框架 智能机器人 任务执行

📋 核心要点

  1. 现有方法在机器人控制与视觉预测之间缺乏有效的对接，导致机器人在执行任务时的表现受限。
  2. TrAct框架通过引入视觉轨迹作为中介，结合视觉、语言和动作信息，提升了机器人决策的准确性和灵活性。
  3. 在LIBERO-INTEGRAL基准和真实世界的Franka操作实验中，TrAct的成功率分别提高了从27%到55%和从49%到76%。

📝 摘要（中文）

机器人动作本质上是特定于其形态的，并且与图像空间的视觉变化仅弱相关，这限制了它们作为机器人世界模型的条件信号的有效性。相对而言，视觉轨迹提供了一种与形态无关的表示，展示了任务相关点在场景中的移动，从而为准确的未来视频预测提供了密集的图像空间指导。基于这一观察，本文提出了TrAct，一个基于世界模型的机器人决策框架，利用视觉轨迹作为控制与预测之间的中介接口。TrAct由三个组件组成：视觉-语言-动作-轨迹模型（VLAT）、轨迹条件世界模型（TWM）和视觉-语言奖励模型（VLAC）。实验结果表明，TrAct在模拟和现实任务中的成功率显著提高，展示了视觉轨迹在机器人控制与视觉预测之间的有效共享接口。

🔬 方法详解

问题定义：本文旨在解决机器人控制与视觉预测之间的对接问题。现有方法在处理机器人动作时，往往依赖于特定的视觉信号，导致其在不同环境中的适应性不足。

核心思路：TrAct框架的核心思想是利用视觉轨迹作为控制与预测之间的中介，提供一种与形态无关的表示方式，从而增强机器人在复杂环境中的决策能力。

技术框架：TrAct由三个主要模块组成：视觉-语言-动作-轨迹模型（VLAT）用于生成候选动作和视觉轨迹；轨迹条件世界模型（TWM）用于预测未来视觉结果；视觉-语言奖励模型（VLAC）用于评估预测结果的质量。

关键创新：TrAct的创新在于引入视觉轨迹作为共享接口，显著提升了机器人控制与视觉预测的协同效果。这一设计使得机器人能够更准确地理解和执行任务。

关键设计：在模型设计中，VLAT结合了视觉输入和语言指令，TWM则通过条件轨迹进行未来状态预测，VLAC则采用特定的奖励函数来评估输出结果的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，TrAct在LIBERO-INTEGRAL基准上成功率从27%提升至55%，在真实世界的Franka操作中从49%提升至76%。此外，TWM在视频预测质量上也显著优于传统的动作条件世界模型（AWM），显示出其在视觉预测方面的优势。

🎯 应用场景

TrAct框架在机器人操作、自动驾驶、智能家居等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的决策能力，该研究能够推动智能机器人在实际任务中的应用，提升其自主性和灵活性。

📄 摘要（原文）

Robot actions are inherently embodiment-specific and only weakly aligned with image-space visual changes, limiting their effectiveness as conditioning signals for robot world models. In contrast, visual tracks provide an embodiment-agnostic representation of how task-relevant points move through a scene, offering dense image-space guidance for accurate and spatially precise future video prediction. Building on this observation, we propose TrAct, a world-model-based robot decision-making framework that uses visual tracks as an intermediate interface between control and prediction. TrAct consists of three components: a Vision-Language-Action-and-Track model (VLAT) that jointly predicts candidate actions and corresponding visual tracks from the current observation and language instruction; a track-conditioned world model (TWM) that predicts future visual outcomes conditioned on the proposed tracks; and a vision-language reward model (VLAC) that scores the predicted outcomes. At inference time, VLAT generates candidate action-track pairs, TWM rolls out their visual consequences, and VLAC selects the track whose predicted outcome best satisfies the instruction; the action paired with the selected track is then executed by the robot. Experiments on the proposed LIBERO-INTEGRAL benchmark and real-world Franka manipulation show that TrAct improves success rates from 27% to 55% in simulation and from 49% to 76% on real-world tasks compared with the strong VLA baseline $π_{0.5}$. Furthermore, TWM consistently improves video prediction quality over the action-conditioned world model (AWM). These results demonstrate that visual tracks provide an effective shared interface between robot control and visual prediction, enabling more accurate world modeling and stronger robot generalization.