FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation

📄 arXiv: 2608.13980v1 📥 PDF

作者: Weidong Tang, Kaiyu Li, Yikai Wang, Yanan Wu, Haotian Gan, Shihong Wang, Xiangyong Cao

分类: cs.CV

发布日期: 2026-08-14

💡 一句话要点

提出FIRM以解决遥感图像细粒度分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感图像分割 细粒度表示 多模态学习 深度学习 图像处理

📋 核心要点

  1. 现有方法在处理遥感图像时，无法有效区分小目标和细结构，导致目标合并和边界模糊。
  2. FIRM通过为每个视觉标记预测细粒度的掩码代码，解决了空间结构丢失的问题，提升了分割精度。
  3. 在五个遥感图像基准测试中，FIRM取得了领先的结果，包括LaSeRS上的70.5/80.5 gIoU/cIoU，EarthReason上平均提升3.0点。

📝 摘要（中文）

推理分割要求多模态大型语言模型（MLLMs）将隐式指令转换为精确的像素级掩码。现有方法中，视觉标记合并了多个图像块，导致小目标和细结构的空间信息丢失。为了解决这一问题，本文提出了FIRM（细粒度内部标记表示），为每个视觉标记预测一个掩码代码，指定$r imes r$的二进制子单元模式。通过一次掩码预测，FIRM能够生成完整的掩码代码网格，并通过固定查找将其转换为离散的子单元掩码。实验结果表明，FIRM在多个遥感图像基准测试中表现优异，显示出细粒度内部标记表示的价值。

🔬 方法详解

问题定义：本文旨在解决遥感图像中小目标和细结构的分割问题。现有方法将多个图像块合并为单一视觉标记，导致空间结构信息丢失，影响分割精度。

核心思路：FIRM的核心思想是为每个视觉标记预测一个细粒度的掩码代码，而不是简单的前景/背景标签。这种设计能够保留内部空间结构，提升分割的准确性。

技术框架：FIRM的整体架构包括掩码代码预测、固定查找转换为离散子单元掩码，以及使用轻量级连续渲染器对细粒度边界进行精细化处理。

关键创新：FIRM的主要创新在于引入了细粒度内部标记表示，通过预测子单元模式来保留空间结构，显著区别于传统方法的单一标签表示。

关键设计：FIRM采用了固定查找机制将掩码代码转换为离散掩码，并通过边缘细化模块结合视觉特征和图像细节，优化了分割效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FIRM在五个遥感图像基准测试中表现出色，特别是在LaSeRS数据集上取得了70.5/80.5的gIoU/cIoU，较基线方法平均提升3.0点，显示了其在细粒度分割中的显著优势。

🎯 应用场景

该研究在遥感图像分析、环境监测和农业监测等领域具有广泛的应用潜力。通过提高细粒度分割的准确性，FIRM可以帮助更好地识别和分析小目标和复杂结构，推动相关领域的研究和应用发展。

📄 摘要（原文）

Reasoning segmentation requires multimodal large language models (MLLMs) to translate implicit instructions into precise pixel-level masks. MLLMs encode an image as visual tokens, each of which merges a group of image patches. In remote sensing images, small targets, thin structures, and adjacent instances can occupy different parts of the same visual token. Assigning a single binary mask label to such a token loses its internal spatial structure, causing nearby targets to merge and object boundaries to become coarse. To bridge this representational gap, we introduce FIRM, a Fine-grained Intra-token Representation of Masks. For each visual token, FIRM predicts a mask code that specifies an $r\times r$ binary sub-cell pattern rather than a single foreground/background label. Given a target identified by the MLLM, the complete grid of mask codes is predicted in one mask pass. Fixed lookup converts the predicted codes into a discrete sub-cell mask, while marginalizing the code distribution yields a soft structural field. To further recover fine-grained boundaries within each sub-cell, we introduce a lightweight continuous renderer that refines this field using pre-merge visual features and image details. Across five reasoning and referring segmentation benchmarks on satellite and UAV images, FIRM achieves leading results, including $70.5/80.5$ gIoU/cIoU on LaSeRS and a $3.0$-point average gain on EarthReason. These results demonstrate the value of explicitly representing intra-token mask patterns for fine-grained MLLM segmentation.