OBSeg: Accurate and Fast Instance Segmentation Framework Using Segmentation Foundation Models with Oriented Bounding Box Prompts

📄 arXiv: 2401.08174v6 📥 PDF

作者: Zhen Zhou, Junfeng Fan, Yunkai Ma, Sihan Zhao, Fengshui Jing, Min Tan

分类: cs.CV

发布日期: 2024-01-16 (更新: 2024-09-29)

期刊: Machine Intelligence Research 2025

DOI: 10.1007/s11633-025-1590-0

🔗 代码/项目: GITHUB

💡 一句话要点

提出OBSeg以解决遥感图像实例分割中的OBB依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实例分割 定向边界框 遥感图像 知识蒸馏 计算机视觉 深度学习

📋 核心要点

  1. 现有的实例分割方法在遥感图像中面临着过度依赖边界框检测性能的问题，导致分割精度受限。
  2. 本文提出的OBSeg框架通过使用定向边界框（OBB）作为提示，减少了对边界框检测的依赖，从而提高了实例分割的准确性和速度。
  3. 实验结果显示，OBSeg在多个数据集上超越了现有方法，展现出更高的实例分割精度和竞争力的推理速度。

📝 摘要（中文）

实例分割在遥感图像中一直是一个长期挑战。由于水平边界框（HBB）引入了许多干扰物体，通常使用定向边界框（OBB）进行实例识别。然而，基于“边界框内分割”范式的现有方法过于依赖边界框检测性能。为了解决这一问题，本文提出了OBSeg，一个基于OBB的准确且快速的实例分割框架。OBSeg首先检测OBB以区分实例并提供粗略定位信息，然后预测与OBB提示相关的掩膜以进行精细分割。由于OBB仅作为提示，OBSeg减轻了对边界框检测性能的过度依赖。实验表明，OBSeg在多个数据集上超越了当前的实例分割方法，具有竞争力的推理速度。

🔬 方法详解

问题定义：本文旨在解决遥感图像中实例分割方法对边界框检测性能的过度依赖问题。现有方法使用水平边界框（HBB）时，容易受到干扰物体的影响，导致分割效果不佳。

核心思路：OBSeg框架的核心思路是利用定向边界框（OBB）作为提示，进行实例分割。通过将OBB作为提示，OBSeg能够在不完全依赖边界框检测的情况下，进行更准确的实例分割。

技术框架：OBSeg的整体架构包括两个主要阶段：首先检测OBB以提供粗略定位信息，然后基于OBB提示预测细致的分割掩膜。为使基础模型能够处理OBB提示，论文还提出了一种新颖的OBB提示编码器。

关键创新：OBSeg的主要创新在于引入了OBB作为提示，减轻了对边界框检测性能的依赖。这一设计使得OBSeg在性能上优于其他基于HBB的实例分割方法。

关键设计：在技术细节上，OBSeg采用了高斯平滑的知识蒸馏方法，以提高轻量级基础模型的性能。此外，OBB提示编码器的设计也为模型的有效性提供了支持。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OBSeg在多个数据集上实现了显著的性能提升，相较于现有的实例分割方法，其分割精度提高了XX%，推理速度也具有竞争力。这一成果验证了OBSeg在实例分割任务中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括遥感图像分析、环境监测、城市规划等。通过提高实例分割的准确性和速度，OBSeg能够为相关领域提供更可靠的数据支持，推动智能化决策的实现。未来，该方法还可能扩展到其他计算机视觉任务中，具有广泛的应用前景。

📄 摘要（原文）

Instance segmentation in remote sensing images is a long-standing challenge. Since horizontal bounding boxes introduce many interference objects, oriented bounding boxes (OBBs) are usually used for instance identification. However, based on ``segmentation within bounding box'' paradigm, current instance segmentation methods using OBBs are overly dependent on bounding box detection performance. To tackle this problem, this paper proposes OBSeg, an accurate and fast instance segmentation framework using OBBs. OBSeg is based on box prompt-based segmentation foundation models (BSMs), e.g., Segment Anything Model. Specifically, OBSeg first detects OBBs to distinguish instances and provide coarse localization information. Then, it predicts OBB prompt-related masks for fine segmentation. Since OBBs only serve as prompts, OBSeg alleviates the over-dependence on bounding box detection performance of current instance segmentation methods using OBBs. Thanks to OBB prompts, OBSeg outperforms other current BSM-based methods using HBBs. In addition, to enable BSMs to handle OBB prompts, we propose a novel OBB prompt encoder. To make OBSeg more lightweight and further improve the performance of lightweight distilled BSMs, a Gaussian smoothing-based knowledge distillation method is introduced. Experiments demonstrate that OBSeg outperforms current instance segmentation methods on multiple datasets in terms of instance segmentation accuracy and has competitive inference speed. The code is available at https://github.com/zhen6618/OBBInstanceSegmentation.