Point Cloud Diffusion with Global and Local Reconstruction for Instance-Level 3D Anomaly Detection

📄 arXiv: 2606.25740v1 📥 PDF

作者: Linchun Wu, Qin Zou, Jiwen Lu, Qingquan Li

分类: cs.CV, cs.AI

发布日期: 2026-06-24

💡 一句话要点

提出PCDiff以解决3D点云异常检测中的重建挑战

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D异常检测 点云重建 多模态注意力 局部-全局重建 工业制造

📋 核心要点

  1. 现有的3D异常检测方法在处理微弱缺陷区域和背景偏差时存在显著不足，导致检测效果不佳。
  2. 本文提出PCDiff框架，通过实例级多模态注意力和联合局部-全局重建算法，提升了异常生成和检测的质量。
  3. 实验结果显示，PCDiff在异常生成保真度和重建质量上显著超越了当前最先进的方法，提升了检测准确性。

📝 摘要（中文）

3D点云中的异常检测对于高精度工业制造至关重要。基于重建的方法通过比较缺陷输入与其重建的正常对应物来检测3D异常。然而，现有方法面临两个挑战：一是前景中的微弱缺陷区域如划痕难以重建和检测，异常偏差可小至$10^{-3}$；二是背景的非缺陷区域在重建中容易产生位置偏差，导致误报。为解决这些问题，本文提出了PCDiff，一个用于实例级3D异常生成和检测的点云扩散框架。在生成阶段，嵌入了实例级多模态注意力，利用纹理梯度、图像块、文本和掩码来条件化异常生成。在检测阶段，引入了联合局部-全局重建算法，以确保局部异常恢复和全局几何一致性。实验表明，PCDiff在3D异常生成的保真度和重建质量上显著优于现有方法，极大提高了异常检测的准确性。

🔬 方法详解

问题定义：本文旨在解决3D点云中异常检测的挑战，尤其是微弱缺陷区域的重建困难和背景区域的误报问题。现有方法在处理这些问题时效果不佳，导致检测准确性低下。

核心思路：提出PCDiff框架，通过实例级多模态注意力实现高质量的微弱缺陷异常生成，并结合局部-全局重建算法确保异常恢复与几何一致性。

技术框架：PCDiff框架分为生成和检测两个阶段。在生成阶段，利用多模态注意力条件化异常生成；在检测阶段，采用联合局部-全局重建算法进行异常检测。

关键创新：PCDiff的核心创新在于引入实例级多模态注意力和联合局部-全局重建算法，这与传统方法的单一重建策略形成鲜明对比，显著提升了微弱缺陷的检测能力。

关键设计：在设计中，采用了多模态输入，包括纹理梯度、图像块、文本和掩码，损失函数结合了重建误差和几何一致性，确保了生成和检测的高效性。整体网络结构经过优化，以适应点云数据的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PCDiff在3D异常生成保真度和重建质量上显著优于现有最先进的方法，检测准确性提升幅度达到XX%。具体而言，在标准数据集上，PCDiff的检测准确率提高了YY%，展示了其在实际应用中的有效性。

🎯 应用场景

该研究在工业制造、自动驾驶、机器人视觉等领域具有广泛的应用潜力。通过提高3D异常检测的准确性，可以有效降低生产成本，提升产品质量，进而推动智能制造的发展。未来，PCDiff框架有望在更多实际场景中得到应用，促进相关技术的进步。

📄 摘要（原文）

3D anomaly detection in point clouds is critical for high-precision industrial manufacturing. Reconstruction-based methods have laid a strong foundation by detecting 3D anomalies through comparisons between defective inputs and their reconstructed normal counterparts. However, existing methods still suffer from two challenges: 1) the foreground weak defective regions such as scratches are hard to reconstruct and detect, where the anomaly deviations in normalized point clouds can be as small as $10^{-3}$; 2) the background non-defective regions are prone to get positional bias in reconstruction, which leads to false positives. To address these challenges, we propose \textbf{PCDiff}, a point cloud diffusion framework for instance-level 3D anomaly generation and detection. In the generation phase, an instance-level multi-modal attention is embedded into the generation framework, where anomalies are conditioned with texture gradient, image patch, text and mask. The instance-level condition enables the high-quality generation of weak-defective anomalies. In the detection phase, a joint local-global reconstruction algorithm is introduced to ensure local anomaly restoration and global geometric consistency, which preserves background normal structure while restoring the foreground defect. Extensive experiments demonstrate that the proposed PCDiff significantly outperforms state-of-the-art methods in both 3D anomaly generation fidelity and reconstruction quality, leading to substantial improvements in anomaly detection accuracy.