GEAR-Seg: A Grounded Explainable Agent for Reasoning Segmentation and Data Engine

📄 arXiv: 2607.00544v1 📥 PDF

作者: Yanan Wang, Wen Li, Yibin Ying, Zhenghao Fei

分类: cs.CV

发布日期: 2026-07-01

备注: 21 pages, 8 figures

💡 一句话要点

提出GEAR-Seg以解决推理分割的可解释性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理分割 可解释性 大型语言模型 数据引擎 零-shot推理 蒸馏训练 复杂查询

📋 核心要点

  1. 现有的推理分割模型将感知与推理混合，导致可解释性差和扩展性不足。
  2. GEAR-Seg通过将视觉信息转化为文本，解耦分割与推理过程，提升了可追踪性与透明度。
  3. 在多项推理和细粒度分割基准上，GEAR-Seg展现出竞争力的性能，并构建了大规模数据集GEAR-131K。

📝 摘要（中文）

推理分割需要基于复杂的隐式查询来定位目标。现有的端到端模型通常将感知与推理混合在一个不透明的黑箱中，严重限制了可解释性和可扩展性。为此，本文提出了GEAR-Seg（Grounded Explainable Agent for Reasoning Segmentation），一个明确解耦的代理，通过将视觉像素转化为密集的、属性丰富的文本，改变了这一范式。GEAR-Seg将类无关的分割、语义描述和大型语言模型（LLM）推理解耦，从而将隐式推理转化为明确且可追踪的逻辑链。作为一个零-shot推理框架，它在多样的推理和细粒度引用分割基准上实现了高度竞争的性能。此外，GEAR-Seg本质上作为一个高度可扩展的数据引擎，构建了GEAR-131K，一个包含38,000多张图像和656,000个问答-掩码对的大型基准，专为复杂的现实世界操作推理而设计。最后，蒸馏实验表明，仅通过我们的自动化管道监督的轻量级模型，其性能接近昂贵的人类标注基线的上限。

🔬 方法详解

问题定义：本文旨在解决推理分割中的可解释性和可扩展性问题。现有方法往往将感知与推理混合在一起，形成一个不透明的黑箱，导致难以理解和扩展。

核心思路：GEAR-Seg的核心思路是通过将视觉像素转化为属性丰富的文本，明确解耦分割、语义描述和推理过程。这种设计使得推理过程变得更加透明和可追踪。

技术框架：GEAR-Seg的整体架构包括三个主要模块：类无关的分割模块、语义描述模块和大型语言模型推理模块。通过这些模块的协同工作，GEAR-Seg能够实现高效的推理分割。

关键创新：GEAR-Seg的主要创新在于其解耦的设计理念，使得推理过程不再是一个黑箱，而是一个明确的逻辑链。这一创新与现有方法的本质区别在于其可解释性和可追踪性。

关键设计：在技术细节方面，GEAR-Seg采用了特定的损失函数和网络结构，以优化分割和推理的效果。此外，轻量级模型的蒸馏实验表明，经过自动化管道监督的模型能够接近人类标注的性能上限。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GEAR-Seg在多项推理和细粒度分割基准上表现出色，取得了高度竞争的性能。通过构建GEAR-131K数据集，模型在处理复杂查询时展现出优越的能力。此外，轻量级模型的蒸馏实验结果显示，其性能接近昂贵的人类标注基线，验证了方法的有效性。

🎯 应用场景

GEAR-Seg在复杂的现实世界操作推理中具有广泛的应用潜力，尤其是在机器人、自动驾驶和智能监控等领域。其可解释性和可扩展性使得该方法能够更好地适应多变的环境和任务需求，提升智能系统的决策能力和可靠性。

📄 摘要（原文）

Reasoning segmentation requires localizing targets based on complex, implicit queries. Current end-to-end models typically entangle perception and deduction into an opaque black box, severely limiting interpretability and scalability. To address this, we propose GEAR-Seg (Grounded Explainable Agent for Reasoning Segmentation), an explicitly decoupled agent that shifts the paradigm by translating visual pixels into dense, attribute-rich text. By decoupling class-agnostic segmentation, semantic description, and Large Language Model (LLM) deduction, GEAR-Seg transforms implicit reasoning into an explicit, trackable logic chain. As a zero-shot inference framework, it achieves highly competitive performance across diverse reasoning and fine-grained referring segmentation benchmarks. Furthermore, GEAR-Seg inherently functions as a highly scalable data engine. Utilizing this engine, we construct GEAR-131K, a massive benchmark (over 38k images, 656k QA-mask pairs) introducing a multifaceted taxonomy tailored for complex real-world manipulation-oriented reasoning. Finally, distillation experiments demonstrate that lightweight models supervised exclusively by our automated pipeline closely match the upper-bound performance of costly human-annotated baselines.