Marrying Optimal Transport and ODEs for Unified Continuous-Time 4D Reconstruction and Tracking

📄 arXiv: 2608.09613v1 📥 PDF

作者: Liying Yang, Hao Mo, Jialun Liu, Chen Liu, Xinxing Yu, Chenhao Guan, Hui Ma, Xiao Cao, Ajian Liu, Yanyan Liang

分类: cs.CV

发布日期: 2026-08-10

备注: Preliminary version

💡 一句话要点

提出Uni4R框架以解决4D重建与点跟踪问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 4D重建 点跟踪 最优传输 常微分方程 运动一致性 深度学习 计算机视觉

📋 核心要点

  1. 现有的4D重建和点跟踪方法通常依赖于启发式插值，缺乏在任意时间戳建模动态的能力。
  2. 本文提出的Uni4R框架通过最优传输和常微分方程的结合，学习连续速度场以统一4D重建和点跟踪任务。
  3. 实验结果显示，Uni4R在4D重建和点跟踪任务中均达到了最先进的性能，并在新的基准测试中表现优异。

📝 摘要（中文）

现有的统一4D重建和点跟踪方法通常依赖启发式插值或仅在整数时间戳上进行预测，缺乏运动一致性，无法在任意时间戳建模动态。本文提出Uni4R框架，通过最优传输（OT）和常微分方程（ODE）的协同作用，学习连续速度场，从而统一这两项任务。该连续速度场作为运动先验，互惠于4D重建和点跟踪。具体而言，提出了流匹配引导解码器（FMGD），通过全局速度分支提取全局动态状态特征，并利用流匹配理论在锚特征流形上构建概率路径，实例化为速度预测的FM引导速度特征。此外，点重建分支提供几何特征，局部速度预测模块结合上述特征和时间嵌入，解码任意时间戳的速度。为克服高质量真实速度缺失的问题，提出了积分一致性训练策略，利用ODE求解器整合速度以恢复目标点图，支持从整数时间戳端到端监督。实验结果表明，Uni4R在4D重建和点跟踪中均实现了SOTA性能，并在新的运动感知基准中取得了SOTA成绩。

🔬 方法详解

问题定义：本文旨在解决现有统一4D重建和点跟踪方法在动态建模和时间戳预测上的不足。现有方法往往依赖于启发式插值，无法在任意时间戳上保持运动一致性。

核心思路：Uni4R框架通过结合最优传输（OT）和常微分方程（ODE），学习连续的速度场，作为运动先验，促进4D重建和点跟踪的协同发展。

技术框架：该框架主要包括全局速度分支、流匹配引导解码器（FMGD）和点重建分支。全局速度分支提取全局动态特征，FMGD利用流匹配理论构建概率路径，点重建分支则提供几何特征。

关键创新：最重要的创新在于提出了流匹配引导解码器（FMGD），通过在锚特征流形上应用OT理论，建立了速度预测的概率路径，从而实现了运动一致性和动态建模的统一。

关键设计：在训练过程中，采用积分一致性训练策略，利用ODE求解器整合速度以恢复目标点图，确保模型能够从整数时间戳进行端到端的监督。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Uni4R在4D重建和点跟踪任务中均达到了最先进的性能，具体而言，在新的运动感知基准测试中，Uni4R的表现超越了现有的最佳方法，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、机器人导航和增强现实等，能够在动态环境中实现高效的4D重建和实时点跟踪，提升相关技术的实际应用价值和用户体验。

📄 摘要（原文）

Existing unified 4D reconstruction and point tracking approaches typically rely on heuristic interpolations or just predict at integer timestamps, lacking kinematic coherence and failing to model dynamics at any arbitrary timestamp. In this paper, we propose Uni4R, a framework that unifies these tasks by learning continuous velocity fields through the synergy of Optimal Transport (OT) and Ordinary Differential Equation (ODE). Importantly, this continuous velocity field acts as a kinematic prior that mutually benefits both 4D reconstruction and point tracking. Specifically, we propose the Flow Matching Guided Decoder (FMGD). A global velocity branch first extracts anchor features that capture the global dynamic state of the sequence. Then, FMGD leverages Flow Matching (FM) theory to formulate a probability path defined by OT on the anchor feature manifold, instantiating it as FM-guided velocity features for velocity prediction. This establishes a robust kinematic inductive bias. Meanwhile, a point reconstruction branch provides geometric features. The local velocity prediction module then joint above features and time embeddings, to decode velocities at arbitrary timestamps. To overcome the absence of high-quality ground-truth velocities in fractional frames, we propose an integral-consistency training strategy. This strategy uses an ODE solver to integrate velocities to recover target pointmaps, enabling the model to be supervised end-to-end directly from integer timestamps. Experimental results demonstrate that Uni4R achieves SOTA performance in both 4D reconstruction and point tracking, and achieves SOTA in our new kinematics-aware benchmark at continuous time.