Trace4D: Grounded Spatiotemporal Reasoning via 4D State Sequences
作者: Wooseok Jang, Seungryong Kim, Yan Lu, Lei Ji
分类: cs.CV
发布日期: 2026-11-02
备注: Project page: https://cvlab-kaist.github.io/Trace4D
💡 一句话要点
提出Trace4D以解决时空推理中的4D状态演变问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时空推理 4D状态 视觉-语言模型 动态场景理解 几何感知 联合监督 视频分析
📋 核心要点
- 现有视觉-语言模型在理解物体及其空间关系随时间演变时面临挑战，尤其是在视角变化的情况下。
- Trace4D通过训练模型预测4D状态序列，并结合时间视觉观察进行推理，提供了一种新的解决方案。
- 实验结果显示，Trace4D在问答准确性上优于基础VLMs，证明了其在时空推理中的有效性。
📝 摘要（中文）
理解物体及其空间关系在三维空间中随时间演变的过程对视觉-语言模型（VLMs）仍然具有挑战性，尤其是在视角变化的情况下。尽管近期方法已将几何信息纳入推理，但对时间顺序的4D状态演变的显式监督及其作为中间证据的使用仍然有限。本文提出了Trace4D，训练VLMs预测4D状态序列并推理其时间步变化，同时结合时间视觉观察。Trace4D-Train基于600K个4D感知示例和约70K个有依据的问答示例构建，并通过联合监督微调和几何感知GRPO进行训练。在推理阶段，Trace4D直接从视频中预测4D状态和推理，无需参考注释或外部几何模型。实验结果表明，Trace4D在Trace4D-Bench和VLM4D上展示了相较于基础VLMs的问答准确性提升，并受益于对4D状态变化和时间视觉观察的推理。
🔬 方法详解
问题定义：本文旨在解决视觉-语言模型在动态场景中理解物体及其空间关系随时间演变的能力不足，现有方法对4D状态演变的显式监督和利用有限。
核心思路：Trace4D的核心思路是通过训练模型预测4D状态序列，并在推理过程中结合时间视觉观察，以增强模型的时空推理能力。这样的设计使得模型能够更好地理解和分析动态场景中的变化。
技术框架：Trace4D的整体架构包括数据集构建、模型训练和推理三个主要阶段。首先，从野外视频中构建Trace4D-Train数据集，然后通过联合监督微调和几何感知GRPO进行训练，最后在推理阶段直接从视频中预测4D状态。
关键创新：Trace4D的主要创新在于其4D基础的思维链（CoT）表示，能够显式地表示4D状态并分析时间视觉上下文，将两者作为推理的证据。这一方法与现有方法的本质区别在于其对时间变化的明确建模。
关键设计：在模型训练中，采用了联合监督微调策略，并引入了几何感知的GRPO，以提高模型对4D状态的理解和推理能力。具体的损失函数和网络结构设计尚未详细说明，可能需要进一步的研究来优化。
🖼️ 关键图片
📊 实验亮点
在Trace4D-Bench和VLM4D的实验中，Trace4D在问答准确性上相较于基础VLMs有显著提升，具体提升幅度未详细说明，但实验结果表明其在时空推理方面的有效性和优势。
🎯 应用场景
Trace4D的研究成果在多个领域具有潜在应用价值，包括机器人视觉、自动驾驶、视频分析等。通过提高模型对动态场景的理解能力，Trace4D能够为智能系统提供更准确的决策支持，推动相关技术的发展与应用。
📄 摘要（原文）
Understanding how objects and their spatial relationships evolve in 3D space over time remains challenging for vision-language models (VLMs), particularly under changing viewpoints. Recent approaches incorporate geometric information into reasoning, but explicit supervision for temporally ordered 4D state evolution and its use as intermediate evidence remains limited. We introduce \textbf{Trace4D}, which trains VLMs to predict 4D state sequences and reason over their inter-timestep changes alongside temporal visual observations. Its 4D-grounded chain-of-thought (CoT) explicitly represents 4D states, analyzes temporal visual context, and connects both as evidence for the answer. We construct Trace4D-Train from in-the-wild videos with 600K 4D perception examples and approximately 70K grounded QA examples, and train with joint supervised fine-tuning followed by geometry-aware GRPO. At inference, Trace4D predicts 4D states and reasoning directly from video without reference annotations or an external geometric model. Experiments on Trace4D-Bench and VLM4D show improved QA accuracy over the base VLMs and benefits from reasoning over 4D state changes and temporal visual observations.