SeMoLi: What Moves Together Belongs Together
作者: Jenny Seidenschwarz, Aljoša Ošep, Francesco Ferroni, Simon Lucey, Laura Leal-Taixé
分类: cs.CV
发布日期: 2024-02-29 (更新: 2024-03-25)
备注: Accepted to CVPR 2024!
💡 一句话要点
提出SeMoLi以解决基于运动线索的半监督目标检测问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 半监督学习 目标检测 运动线索 Lidar 数据驱动 聚类方法 场景流估计 3D边界框
📋 核心要点
- 现有的半监督目标检测方法依赖于启发式聚类和手动标注，效率低且准确性不足。
- 论文提出了一种数据驱动的方法，通过运动线索和场景流估计来实现伪标签生成和目标检测。
- 实验结果表明，该方法在AP指标上达到57.5，较之前工作提升14，且能够跨数据集进行训练。
📝 摘要（中文）
我们研究了基于运动线索的半监督目标检测。近期研究表明，结合对象跟踪的启发式聚类方法可以用于伪标签移动对象实例，并将其作为监督信号来训练Lidar数据中的3D目标检测器。我们重新思考这一方法，提出目标检测和运动启发的伪标签可以通过数据驱动的方式进行处理。我们利用场景流估计的最新进展获取点轨迹，从中提取长期的、类无关的运动模式。通过在消息传递网络中重新审视相关聚类，我们学习将这些运动模式进行分组，以将点聚类到对象实例中。通过估计对象的完整范围，我们获得每扫描的3D边界框，用于监督Lidar目标检测网络。我们的方法不仅超越了先前的启发式方法（57.5 AP，比之前的工作提高14），更重要的是，我们展示了可以跨数据集伪标签和训练目标检测器。
🔬 方法详解
问题定义：本论文旨在解决基于运动线索的半监督目标检测问题。现有方法依赖于启发式聚类和人工标注，导致效率低下和准确性不足。
核心思路：我们提出了一种数据驱动的方法，利用场景流估计获取点轨迹，并提取类无关的运动模式，以实现更有效的伪标签生成和目标检测。
技术框架：整体架构包括运动模式提取、相关聚类和Lidar目标检测三个主要模块。首先，通过场景流估计获取点的运动轨迹；然后，使用消息传递网络进行运动模式的聚类；最后，利用聚类结果生成3D边界框以监督目标检测网络。
关键创新：本研究的关键创新在于将运动模式的聚类与目标检测结合，采用数据驱动的方法替代传统的启发式方法，从而提高了伪标签的准确性和检测性能。
关键设计：在技术细节上，我们设计了适应性损失函数以优化聚类效果，并使用了先进的网络结构来处理场景流数据，确保了模型的高效性和准确性。
📊 实验亮点
实验结果显示，SeMoLi在AP指标上达到了57.5，相较于之前的方法提升了14，证明了其在伪标签生成和跨数据集训练方面的有效性。这一成果展示了数据驱动方法在目标检测领域的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和智能监控等场景。通过提高目标检测的准确性和效率，SeMoLi能够在复杂环境中实现更可靠的物体识别和跟踪，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
We tackle semi-supervised object detection based on motion cues. Recent results suggest that heuristic-based clustering methods in conjunction with object trackers can be used to pseudo-label instances of moving objects and use these as supervisory signals to train 3D object detectors in Lidar data without manual supervision. We re-think this approach and suggest that both, object detection, as well as motion-inspired pseudo-labeling, can be tackled in a data-driven manner. We leverage recent advances in scene flow estimation to obtain point trajectories from which we extract long-term, class-agnostic motion patterns. Revisiting correlation clustering in the context of message passing networks, we learn to group those motion patterns to cluster points to object instances. By estimating the full extent of the objects, we obtain per-scan 3D bounding boxes that we use to supervise a Lidar object detection network. Our method not only outperforms prior heuristic-based approaches (57.5 AP, +14 improvement over prior work), more importantly, we show we can pseudo-label and train object detectors across datasets.