SplatPose & Detect: Pose-Agnostic 3D Anomaly Detection

📄 arXiv: 2404.06832v1 📥 PDF

作者: Mathis Kruse, Marco Rudolph, Dominik Woiwode, Bodo Rosenhahn

分类: cs.CV, cs.LG

发布日期: 2024-04-10

备注: Visual Anomaly and Novelty Detection 2.0 Workshop at CVPR 2024

💡 一句话要点

提出SplatPose以解决3D物体姿态无关的异常检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D异常检测 姿态估计 高斯散点 多视角图像 计算机视觉 深度学习 智能制造

📋 核心要点

  1. 现有方法在处理从不同姿态捕获的3D物体时存在显著不足，尤其是在计算效率和准确性方面。
  2. 本文提出的SplatPose框架利用3D高斯散点技术，能够在多视角图像中准确估计姿态并检测异常。
  3. 实验结果表明，SplatPose在训练和推理速度及检测性能上均优于现有方法，且使用的训练数据量更少。

📝 摘要（中文）

在图像中检测异常已成为学术界和工业界广泛研究的问题。尽管现有的最先进算法能够在越来越复杂的环境和数据模式中检测缺陷，但大多数方法无法有效处理从不同姿态捕获的3D物体。为此，本文提出了一种新颖的基于3D高斯散点的框架SplatPose，该框架能够在可微分的方式下，准确估计未见视角的姿态并检测异常。我们在训练和推理速度以及检测性能上均取得了最先进的结果，即使使用的训练数据少于竞争方法。我们通过最近提出的姿态无关异常检测基准及其多姿态异常检测数据集对框架进行了全面评估。

🔬 方法详解

问题定义：本文旨在解决现有异常检测方法在处理3D物体时的局限性，尤其是姿态变化带来的挑战。现有方法通常计算复杂，难以在实际应用中有效使用。

核心思路：SplatPose框架的核心思想是通过3D高斯散点技术，结合多视角图像，准确估计未见视角的姿态，并在此基础上进行异常检测。这种方法在计算上更为高效，适合实际应用。

技术框架：该框架主要包括三个模块：首先是多视角图像输入模块，其次是姿态估计模块，最后是异常检测模块。通过这些模块的协同工作，SplatPose能够实现高效的异常检测。

关键创新：SplatPose的主要创新在于其可微分的姿态估计方法，能够在不增加计算负担的情况下，处理不同姿态的3D物体。这一设计显著提升了检测的准确性和效率。

关键设计：在技术细节上，SplatPose采用了特定的损失函数来优化姿态估计，并设计了高效的网络结构，以减少计算资源的消耗，同时保持高检测性能。具体的参数设置和网络架构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SplatPose在训练和推理速度上均表现出色，检测性能达到了最先进水平。与现有基线相比，SplatPose在使用更少训练数据的情况下，检测准确率提升了显著的幅度，具体数据在论文中有详细列出。

🎯 应用场景

该研究的潜在应用领域包括制造业中的缺陷检测、自动驾驶中的物体识别以及安全监控中的异常行为检测。其高效的异常检测能力将极大提升相关行业的智能化水平和自动化程度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Detecting anomalies in images has become a well-explored problem in both academia and industry. State-of-the-art algorithms are able to detect defects in increasingly difficult settings and data modalities. However, most current methods are not suited to address 3D objects captured from differing poses. While solutions using Neural Radiance Fields (NeRFs) have been proposed, they suffer from excessive computation requirements, which hinder real-world usability. For this reason, we propose the novel 3D Gaussian splatting-based framework SplatPose which, given multi-view images of a 3D object, accurately estimates the pose of unseen views in a differentiable manner, and detects anomalies in them. We achieve state-of-the-art results in both training and inference speed, and detection performance, even when using less training data than competing methods. We thoroughly evaluate our framework using the recently proposed Pose-agnostic Anomaly Detection benchmark and its multi-pose anomaly detection (MAD) data set.