Changes in Real Time: Online Scene Change Detection with Multi-View Fusion

📄 arXiv: 2511.12370v2 📥 PDF

作者: Chamuditha Jayanga Galappaththige, Jason Lai, Lloyd Windrim, Donald Dansereau, Niko Sünderhauf, Dimity Miller

分类: cs.CV

发布日期: 2025-11-15 (更新: 2025-12-11)

💡 一句话要点

提出一种基于多视角融合的在线场景变化检测方法，达到SOTA性能。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 场景变化检测 在线学习 多视角融合 自监督学习 3D高斯溅射

📋 核心要点

  1. 现有在线场景变化检测方法精度不足，难以满足实时性要求，且对视角变化敏感。
  2. 提出一种多视角融合的在线场景变化检测方法，利用自监督学习和3D高斯溅射提升性能。
  3. 实验表明，该方法在真实数据集上超越了现有在线和离线方法，实现了新的SOTA性能。

📝 摘要（中文）

在线场景变化检测（SCD）是一个极具挑战性的问题，它要求智能体在以不受约束的视角观察场景时，能够即时检测到相关的变化。现有的在线SCD方法在精度上远不如离线方法。我们提出了一种新的在线SCD方法，该方法与姿态无关、无需标签，并确保多视角一致性，同时以超过10 FPS的速度运行，并实现了新的最先进的性能，甚至超越了最佳的离线方法。我们的方法引入了一种新的自监督融合损失，用于从多个线索和观察中推断场景变化，基于PnP的快速姿态估计，以及针对3D高斯溅射场景表示的快速变化引导更新策略。在复杂的真实世界数据集上进行的大量实验表明，我们的方法优于在线和离线基线。

🔬 方法详解

问题定义：论文旨在解决在线场景变化检测问题，即在连续的视频流中实时检测场景中发生的显著变化。现有在线方法通常精度较低，且对视角变化敏感，难以保证多视角一致性。此外，现有方法通常需要大量的标签数据，限制了其在实际场景中的应用。

核心思路：论文的核心思路是利用多视角信息融合来提高场景变化检测的精度和鲁棒性。通过自监督学习的方式，从多个线索和观察中推断场景变化，避免了对大量标签数据的依赖。同时，利用3D高斯溅射（3D Gaussian Splatting）来表示场景，并采用快速变化引导更新策略，提高了算法的运行效率。

技术框架：该方法主要包含以下几个模块：1) 基于PnP的快速姿态估计：用于估计当前帧相对于参考场景的相机姿态。2) 多视角特征提取：从多个视角提取场景特征。3) 自监督融合损失：用于融合多视角特征，并推断场景变化。4) 3D高斯溅射场景表示：用于表示场景的几何和外观信息。5) 快速变化引导更新策略：用于快速更新3D高斯溅射场景表示。

关键创新：该方法的主要创新点在于：1) 提出了一种新的自监督融合损失，能够有效地融合多视角信息，并提高场景变化检测的精度。2) 采用基于PnP的快速姿态估计方法，提高了算法的运行效率。3) 提出了一种快速变化引导更新策略，能够快速更新3D高斯溅射场景表示，从而适应场景的变化。

关键设计：自监督融合损失的设计是关键。具体来说，该损失函数鼓励模型学习到能够区分场景中变化和不变区域的特征表示。此外，3D高斯溅射的参数更新策略也至关重要，需要平衡更新速度和表示精度。

📊 实验亮点

该方法在复杂的真实世界数据集上进行了大量实验，结果表明，该方法在在线场景变化检测任务上取得了新的SOTA性能，甚至超越了最佳的离线方法。具体来说，该方法在精度和速度上都优于现有的在线和离线基线，并且能够有效地处理视角变化和光照变化等挑战。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、视频监控等领域。例如，机器人可以利用该方法实时检测环境变化，从而规划更安全的路径。自动驾驶系统可以利用该方法检测道路上的障碍物或交通状况变化，从而提高驾驶安全性。视频监控系统可以利用该方法检测异常事件，例如非法入侵或火灾等。

📄 摘要（原文）

Online Scene Change Detection (SCD) is an extremely challenging problem that requires an agent to detect relevant changes on the fly while observing the scene from unconstrained viewpoints. Existing online SCD methods are significantly less accurate than offline approaches. We present the first online SCD approach that is pose-agnostic, label-free, and ensures multi-view consistency, while operating at over 10 FPS and achieving new state-of-the-art performance, surpassing even the best offline approaches. Our method introduces a new self-supervised fusion loss to infer scene changes from multiple cues and observations, PnP-based fast pose estimation against the reference scene, and a fast change-guided update strategy for the 3D Gaussian Splatting scene representation. Extensive experiments on complex real-world datasets demonstrate that our approach outperforms both online and offline baselines.