Segment Any Change

📄 arXiv: 2402.01188v4 📥 PDF

作者: Zhuo Zheng, Yanfei Zhong, Liangpei Zhang, Stefano Ermon

分类: cs.CV

发布日期: 2024-02-02 (更新: 2025-02-15)

备注: NeurIPS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出AnyChange以解决零-shot变化检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 变化检测 零-shot学习 视觉基础模型 图像分割 深度学习

📋 核心要点

  1. 现有的变化检测方法在处理未见变化类型和数据分布时存在局限性，无法实现零-shot检测。
  2. 论文提出的AnyChange模型通过双时间潜在匹配方法，利用SAM的潜在空间实现了无训练的零-shot变化检测。
  3. AnyChange在SECOND基准测试中设立了新的无监督变化检测记录，F1分数提升达4.4%，并在有监督变化检测中以极少的人工标注实现了可比的准确率。

📝 摘要（中文）

视觉基础模型在零-shot图像分类和分割方面取得了显著成果，但零-shot变化检测仍然是一个未解决的问题。本文提出了变化检测模型AnyChange，该模型支持对未见变化类型和数据分布的零-shot预测和泛化。AnyChange基于segment anything模型（SAM），通过无训练的适应方法——双时间潜在匹配，揭示并利用SAM潜在空间中的图像内和图像间语义相似性，从而赋予SAM零-shot变化检测能力。此外，本文还提出了一种点查询机制，以实现AnyChange的零-shot对象中心变化检测能力。通过大量实验验证了AnyChange在零-shot变化检测中的有效性。

🔬 方法详解

问题定义：本文旨在解决零-shot变化检测问题，现有方法在面对未见变化类型和数据分布时表现不佳，无法有效进行变化检测。

核心思路：论文的核心思路是利用双时间潜在匹配方法，揭示SAM潜在空间中的语义相似性，从而实现无训练的零-shot变化检测能力。

技术框架：AnyChange模型基于SAM，采用双时间潜在匹配方法进行适应，整体流程包括潜在空间的相似性分析和点查询机制的实现。

关键创新：最重要的技术创新在于双时间潜在匹配方法，它使得SAM能够在没有额外训练的情况下进行零-shot变化检测，这与现有方法的依赖训练数据的方式本质不同。

关键设计：在模型设计中，采用了点查询机制来实现对象中心的变化检测，同时在损失函数和网络结构上进行了优化，以提高检测精度和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AnyChange在SECOND基准测试中设立了新的无监督变化检测记录，F1分数提升达4.4%。在有监督变化检测中，模型以每幅图像仅1个像素的人工标注实现了与现有方法相当的准确率，显示出其优越性。

🎯 应用场景

该研究的潜在应用领域包括环境监测、城市规划、灾后评估等场景，能够在没有大量标注数据的情况下，快速识别和分析变化，具有重要的实际价值和未来影响。

📄 摘要（原文）

Visual foundation models have achieved remarkable results in zero-shot image classification and segmentation, but zero-shot change detection remains an open problem. In this paper, we propose the segment any change models (AnyChange), a new type of change detection model that supports zero-shot prediction and generalization on unseen change types and data distributions. AnyChange is built on the segment anything model (SAM) via our training-free adaptation method, bitemporal latent matching. By revealing and exploiting intra-image and inter-image semantic similarities in SAM's latent space, bitemporal latent matching endows SAM with zero-shot change detection capabilities in a training-free way. We also propose a point query mechanism to enable AnyChange's zero-shot object-centric change detection capability. We perform extensive experiments to confirm the effectiveness of AnyChange for zero-shot change detection. AnyChange sets a new record on the SECOND benchmark for unsupervised change detection, exceeding the previous SOTA by up to 4.4% F$_1$ score, and achieving comparable accuracy with negligible manual annotations (1 pixel per image) for supervised change detection. Code is available at https://github.com/Z-Zheng/pytorch-change-models.