I Can't Believe It's Not Scene Flow!

📄 arXiv: 2403.04739v2 📥 PDF

作者: Ishan Khatri, Kyle Vedder, Neehar Peri, Deva Ramanan, James Hays

分类: cs.CV

发布日期: 2024-03-07 (更新: 2024-07-18)

备注: Accepted to ECCV 2024. Project page at https://vedder.io/trackflow

🔗 代码/项目: GITHUB

💡 一句话要点

提出Bucket Normalized EPE以解决小物体运动评估问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 场景流 运动估计 小物体检测 评估协议 机器学习 计算机视觉 深度学习

📋 核心要点

  1. 现有场景流方法在小物体运动描述上存在显著不足，评估协议未能有效反映这一问题。
  2. 提出了Bucket Normalized EPE评估协议，具备类别意识和速度归一化，增强了不同物体间的误差比较。
  3. TrackFlow基线方法在标准评估中表现优异，并在新评估上显著超越了以往方法，验证了新协议的有效性。

📝 摘要（中文）

当前的场景流方法普遍无法有效描述小物体的运动，而现有的评估协议通过对多个点进行平均来掩盖这一失败，尤其是大物体占据了大部分数据。为了解决这一评估缺陷，本文提出了一种新的评估协议——Bucket Normalized EPE，该协议具备类别意识和速度归一化的特性，使得不同速度物体之间的误差比较更加具有上下文意义。此外，本文还提出了一种简单的监督场景流基线TrackFlow，通过将高质量的预训练检测器与简单的跟踪器结合，能够在当前标准评估中实现最先进的性能，并在新评估上显著提升。我们的结果表明，所有场景流评估必须考虑类别和速度，监督场景流方法也必须解决点类别不平衡的问题。

🔬 方法详解

问题定义：当前场景流方法在小物体运动的描述上存在明显不足，现有评估协议通过平均化处理掩盖了这一问题，导致评估结果不够准确。

核心思路：本文提出的Bucket Normalized EPE评估协议，旨在通过类别意识和速度归一化来改善不同物体间的误差比较，使得评估更加合理。同时，TrackFlow基线方法通过结合高质量的预训练检测器和简单的跟踪器，提供了一种有效的解决方案。

技术框架：整体架构包括两个主要模块：首先是高质量的预训练检测器，经过类别重平衡技术训练；其次是简单的跟踪器，二者结合形成TrackFlow基线。评估过程中使用Bucket Normalized EPE协议进行性能评估。

关键创新：最重要的创新在于提出了Bucket Normalized EPE评估协议，使得评估过程能够考虑物体类别和运动速度的差异，解决了以往方法的不足。TrackFlow基线的设计也展示了简单方法在复杂任务中的有效性。

关键设计：在TrackFlow中，使用了经过类别重平衡的高质量预训练检测器，确保了检测的准确性；同时，跟踪器的设计保持了简单性，便于与检测器的结合。损失函数和训练策略也经过精心设计，以应对点类别不平衡的问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，TrackFlow基线在当前标准评估中达到了最先进的性能，并在新提出的评估协议上相比于以往方法有显著提升，具体提升幅度未知。这表明新评估协议的有效性和TrackFlow方法的优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和视频监控等场景，能够有效提升小物体运动的检测与跟踪精度。通过改进的评估协议，未来的研究可以更好地针对不同类别物体的运动特性进行优化，推动相关技术的发展。

📄 摘要（原文）

Current scene flow methods broadly fail to describe motion on small objects, and current scene flow evaluation protocols hide this failure by averaging over many points, with most drawn larger objects. To fix this evaluation failure, we propose a new evaluation protocol, Bucket Normalized EPE, which is class-aware and speed-normalized, enabling contextualized error comparisons between object types that move at vastly different speeds. To highlight current method failures, we propose a frustratingly simple supervised scene flow baseline, TrackFlow, built by bolting a high-quality pretrained detector (trained using many class rebalancing techniques) onto a simple tracker, that produces state-of-the-art performance on current standard evaluations and large improvements over prior art on our new evaluation. Our results make it clear that all scene flow evaluations must be class and speed aware, and supervised scene flow methods must address point class imbalances. We release the evaluation code publicly at https://github.com/kylevedder/BucketedSceneFlowEval.