GeoSAM: Fine-tuning SAM with Multi-Modal Prompts for Mobility Infrastructure Segmentation

📄 arXiv: 2311.11319v4 📥 PDF

作者: Rafi Ibn Sultan, Chengyin Li, Hui Zhu, Prashant Khanduri, Marco Brocanelli, Dongxiao Zhu

分类: cs.CV, cs.AI

发布日期: 2023-11-19 (更新: 2025-08-15)

备注: Accepted by European Conference on Artificial Intelligence (ECAI 2025)

🔗 代码/项目: GITHUB

💡 一句话要点

提出GeoSAM以解决地理图像中移动基础设施分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理图像分割 移动基础设施 多模态提示 深度学习 视觉基础模型

📋 核心要点

  1. 现有方法在地理图像分割中面临训练数据不足和泛化能力差的问题，尤其是在移动基础设施的分割上。
  2. GeoSAM通过结合点提示和文本提示，利用多模态信息对SAM进行微调，从而提升分割性能。
  3. 实验结果表明，GeoSAM在移动基础设施分割任务中，mIoU提升至少5%，超越了现有方法。

📝 摘要（中文）

在地理图像分割中，性能常受限于训练数据的稀缺和泛化能力不足，尤其是在分割道路、人行道和斑马线等移动基础设施时。尽管像Segment Anything Model（SAM）这样的视觉基础模型在自然图像上表现出色，但在地理图像（如航空和卫星图像）中却面临挑战。为此，本文提出了GeoSAM，一个基于SAM的框架，通过自动生成的多模态提示对SAM进行微调。GeoSAM结合了来自预训练任务特定模型的点提示作为主要视觉指导，以及由大型语言模型生成的文本提示作为次要语义指导，从而更好地捕捉空间结构和上下文意义。GeoSAM在熟悉和完全未知的区域中，移动基础设施分割的mIoU至少提升了5%，标志着基础模型在地理图像中分割移动基础设施的显著进步。

🔬 方法详解

问题定义：本文旨在解决地理图像中移动基础设施（如道路、人行道和斑马线）的分割问题。现有的SAM模型在自然图像上表现良好，但在地理图像中由于特征和纹理的局限性，导致分割效果不佳。

核心思路：GeoSAM的核心思路是通过多模态提示来微调SAM，结合视觉和语义信息，以提高模型对地理图像的理解和分割能力。通过引入点提示和文本提示，GeoSAM能够更好地捕捉空间结构和上下文信息。

技术框架：GeoSAM的整体架构包括两个主要模块：首先是从预训练任务特定模型中获取的点提示，作为主要的视觉指导；其次是由大型语言模型生成的文本提示，作为次要的语义指导。这两个模块共同作用，提升了模型的分割性能。

关键创新：GeoSAM的主要创新在于将多模态提示结合到SAM的微调过程中，这一方法在地理图像分割任务中显著提升了模型的性能，尤其是在处理复杂背景时。与传统方法相比，GeoSAM能够更有效地利用上下文信息。

关键设计：在模型设计中，GeoSAM采用了特定的损失函数以平衡视觉和语义提示的影响，同时在网络结构上进行了优化，以适应地理图像的特征提取需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoSAM在移动基础设施分割任务中表现出色，mIoU指标至少提升了5%，超越了现有的分割方法。这一成果在熟悉和完全未知的区域均表现优异，展示了GeoSAM在地理图像处理中的有效性和潜力。

🎯 应用场景

GeoSAM的研究成果具有广泛的应用潜力，尤其是在城市规划、交通管理和环境监测等领域。通过提高移动基础设施的分割精度，相关部门可以更好地进行基础设施建设和维护，提升城市管理的智能化水平。此外，GeoSAM的框架也可以扩展到其他地理信息系统（GIS）相关的任务中，推动相关领域的研究进展。

📄 摘要（原文）

In geographical image segmentation, performance is often constrained by the limited availability of training data and a lack of generalizability, particularly for segmenting mobility infrastructure such as roads, sidewalks, and crosswalks. Vision foundation models like the Segment Anything Model (SAM), pre-trained on millions of natural images, have demonstrated impressive zero-shot segmentation performance, providing a potential solution. However, SAM struggles with geographical images, such as aerial and satellite imagery, due to its training being confined to natural images and the narrow features and textures of these objects blending into their surroundings. To address these challenges, we propose Geographical SAM (GeoSAM), a SAM-based framework that fine-tunes SAM using automatically generated multi-modal prompts. Specifically, GeoSAM integrates point prompts from a pre-trained task-specific model as primary visual guidance, and text prompts generated by a large language model as secondary semantic guidance, enabling the model to better capture both spatial structure and contextual meaning. GeoSAM outperforms existing approaches for mobility infrastructure segmentation in both familiar and completely unseen regions by at least 5\% in mIoU, representing a significant leap in leveraging foundation models to segment mobility infrastructure, including both road and pedestrian infrastructure in geographical images. The source code can be found in this GitHub Repository: https://github.com/rafiibnsultan/GeoSAM.