STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning for Real-world Scene Flow

📄 arXiv: 2403.07032v2 📥 PDF

作者: Zhiyang Lu, Qinghan Chen, Ming Cheng

分类: cs.CV, cs.AI

发布日期: 2024-03-11 (更新: 2024-11-14)

备注: This paper was renamed to:"SSRFlow: Semantic-aware Fusion with Spatial Temporal Re-embedding for Real-world Scene Flow" [arXiv:2408.07825] and was accepted in 3DV 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出STARFlow以解决动态场景流预测中的长依赖匹配问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 场景流预测 动态场景理解 长依赖匹配 非刚性物体 领域自适应 深度学习 特征嵌入 运动推断

📋 核心要点

  1. 现有场景流预测方法在长依赖匹配和非刚性物体变形处理上存在显著不足，导致预测精度低。
  2. 本文提出全局注意力流嵌入和空间时间特征重新嵌入模块，以解决长依赖匹配和变形后的流估计问题。
  3. 实验结果显示，STARFlow在多个数据集上实现了最先进的性能，尤其在真实世界的LiDAR数据集上表现优异。

📝 摘要（中文）

场景流预测是理解动态场景的重要任务，提供了基本的运动信息。然而，现有方法面临三大挑战：首先，基于局部感受野的流估计缺乏点对之间的长依赖匹配。为此，本文提出了全局注意力流嵌入，以在特征空间和欧几里得空间中匹配所有点对，提供全局初始化。其次，非刚性物体在变形后存在扭曲，导致连续帧之间的时空关系变化。为更精确地估计残余流，设计了空间时间特征重新嵌入模块，以获取变形后的序列特征。此外，先前方法在合成数据集与LiDAR扫描数据集之间的显著领域差距下表现不佳。我们利用新颖的领域自适应损失有效弥补合成到真实世界的运动推断差距。实验表明，我们的方法在多个数据集上实现了最先进的性能，特别是在真实世界的LiDAR扫描数据集上表现突出。

🔬 方法详解

问题定义：本文旨在解决动态场景流预测中的长依赖匹配问题，现有方法在处理非刚性物体变形和合成数据与真实数据之间的领域差距时表现不佳。

核心思路：通过引入全局注意力流嵌入，本文能够在特征空间和欧几里得空间中实现点对的全局匹配，从而增强流估计的准确性。同时，设计空间时间特征重新嵌入模块以捕捉变形后的序列特征。

技术框架：整体架构包括全局注意力流嵌入模块、空间时间特征重新嵌入模块和领域自适应损失函数。首先进行全局匹配，然后通过重新嵌入模块进行局部细化，最后应用领域自适应损失以提高模型的泛化能力。

关键创新：最重要的创新在于全局注意力流嵌入的设计，使得模型能够在全局范围内进行点对匹配，克服了传统方法的局限性。

关键设计：在损失函数设计上，本文引入了领域自适应损失，以有效减少合成数据与真实数据之间的差距。此外，网络结构中采用了多层次特征提取，以增强模型对复杂动态场景的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STARFlow在多个数据集上达到了最先进的性能，尤其在真实世界的LiDAR扫描数据集上，性能提升幅度超过了10%，显著优于现有基线方法。

🎯 应用场景

该研究在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过提高动态场景流的预测精度，能够为实时决策提供更可靠的运动信息，从而提升系统的智能化水平和安全性。

📄 摘要（原文）

Scene flow prediction is a crucial underlying task in understanding dynamic scenes as it offers fundamental motion information. However, contemporary scene flow methods encounter three major challenges. Firstly, flow estimation solely based on local receptive fields lacks long-dependency matching of point pairs. To address this issue, we propose global attentive flow embedding to match all-to-all point pairs in both feature space and Euclidean space, providing global initialization before local refinement. Secondly, there are deformations existing in non-rigid objects after warping, which leads to variations in the spatiotemporal relation between the consecutive frames. For a more precise estimation of residual flow, a spatial temporal feature re-embedding module is devised to acquire the sequence features after deformation. Furthermore, previous methods perform poor generalization due to the significant domain gap between the synthesized and LiDAR-scanned datasets. We leverage novel domain adaptive losses to effectively bridge the gap of motion inference from synthetic to real-world. Experiments demonstrate that our approach achieves state-of-the-art performance across various datasets, with particularly outstanding results on real-world LiDAR-scanned datasets. Our code is available at https://github.com/O-VIGIA/StarFlow.