Guideline-Consistent Segmentation via Multi-Agent Refinement

📄 arXiv: 2509.04687v2 📥 PDF

作者: Vanshika Vats, Ashwani Rathee, James Davis

分类: cs.CV

发布日期: 2025-09-04 (更新: 2025-12-16)

备注: To be published in The Fortieth AAAI Conference on Artificial Intelligence (AAAI 2026)

💡 一句话要点

提出一种基于多智能体迭代优化的无训练语义分割框架，实现指南一致性分割

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义分割 视觉-语言模型 多智能体系统 迭代优化 标注指南 免训练 强化学习

📋 核心要点

  1. 现有语义分割方法难以有效利用复杂文本标注指南，导致分割结果与指南不一致，且缺乏泛化能力。
  2. 提出一种多智能体迭代优化框架，利用Worker-Supervisor架构，无需训练即可实现指南一致性分割。
  3. 在Waymo和ReasonSeg数据集上，该方法显著优于现有技术，展示了强大的泛化能力和指令遵循能力。

📝 摘要（中文）

真实场景下的语义分割不仅需要精确的掩码，还需要严格遵守文本标注指南。这些指南通常复杂冗长，人工和自动标注都难以完全遵循。传统方法依赖于昂贵的任务特定重训练，且必须随着指南的演变而重复进行。虽然最近的开放词汇分割方法在简单提示下表现出色，但在面对指定复杂分割规则的段落级指南时往往失效。为了解决这个问题，我们引入了一个多智能体、免训练的框架，该框架在迭代的Worker-Supervisor优化架构中协调通用视觉-语言模型。Worker执行分割，Supervisor根据检索到的指南对其进行评价，轻量级的强化学习停止策略决定何时终止循环，确保指南一致的掩码，同时平衡资源使用。在Waymo和ReasonSeg数据集上的评估表明，我们的方法明显优于最先进的基线，展示了强大的泛化能力和指令遵循能力。

🔬 方法详解

问题定义：现有语义分割方法，特别是开放词汇分割方法，在处理复杂、长文本的标注指南时表现不佳，无法保证分割结果与指南的一致性。传统方法需要针对特定任务进行昂贵的重训练，并且难以适应指南的频繁更新。因此，如何利用通用视觉-语言模型，在无需训练的情况下，实现对复杂标注指南的有效利用，是本文要解决的核心问题。

核心思路：本文的核心思路是构建一个多智能体系统，通过迭代优化来实现指南一致性分割。该系统包含一个Worker和一个Supervisor，Worker负责执行分割任务，Supervisor负责根据标注指南对分割结果进行评价。通过Worker和Supervisor之间的迭代交互，逐步优化分割结果，使其更加符合标注指南的要求。

技术框架：该方法采用Worker-Supervisor架构。Worker是一个通用的视觉-语言模型，负责根据输入图像和文本提示生成分割掩码。Supervisor也是一个通用的视觉-语言模型，负责根据标注指南和Worker生成的分割掩码，对分割结果进行评价，并给出反馈。此外，还引入了一个轻量级的强化学习停止策略，用于决定何时终止迭代过程，以平衡分割精度和计算资源消耗。

关键创新：该方法最重要的创新点在于提出了一个多智能体迭代优化框架，该框架能够有效地利用通用视觉-语言模型，在无需训练的情况下，实现对复杂标注指南的有效利用。与传统方法相比，该方法具有更强的泛化能力和适应性，能够更好地适应标注指南的频繁更新。

关键设计：该方法的关键设计包括：1) Worker和Supervisor均采用通用的视觉-语言模型，例如CLIP或类似模型；2) Supervisor的评价标准是根据标注指南动态生成的，能够灵活适应不同的标注指南；3) 强化学习停止策略的设计，能够有效地平衡分割精度和计算资源消耗。具体参数设置和损失函数细节在论文中未详细说明，属于未知信息。

📊 实验亮点

该方法在Waymo和ReasonSeg数据集上进行了评估，实验结果表明，该方法显著优于现有的最先进基线方法。具体性能提升数据在论文中给出，但在此处无法提供精确数值。该方法展示了强大的泛化能力和指令遵循能力，能够在不同的数据集和标注指南下取得良好的分割效果。

🎯 应用场景

该研究成果可广泛应用于需要严格遵循标注指南的语义分割任务中，例如自动驾驶场景中的道路元素分割、医学图像分析中的器官分割等。该方法能够有效提高分割结果的准确性和一致性，降低人工标注成本，并促进相关领域的自动化发展。

📄 摘要（原文）

Semantic segmentation in real-world applications often requires not only accurate masks but also strict adherence to textual labeling guidelines. These guidelines are typically complex and long, and both human and automated labeling often fail to follow them faithfully. Traditional approaches depend on expensive task-specific retraining that must be repeated as the guidelines evolve. Although recent open-vocabulary segmentation methods excel with simple prompts, they often fail when confronted with sets of paragraph-length guidelines that specify intricate segmentation rules. To address this, we introduce a multi-agent, training-free framework that coordinates general-purpose vision-language models within an iterative Worker-Supervisor refinement architecture. The Worker performs the segmentation, the Supervisor critiques it against the retrieved guidelines, and a lightweight reinforcement learning stop policy decides when to terminate the loop, ensuring guideline-consistent masks while balancing resource use. Evaluated on the Waymo and ReasonSeg datasets, our method notably outperforms state-of-the-art baselines, demonstrating strong generalization and instruction adherence.