GarmentSegAgent: Autonomous Garment Segmentation for Web Fashion Images via Textual Self-Refinement

📄 arXiv: 2610.36506v1 📥 PDF

作者: Jia Chen, Chao Huang, Xinrong Hu, Mingdi Huang, Ruyang Zhao, Jun Bai

分类: cs.CV, cs.MA

发布日期: 2026-10-27

备注: 12 pages

💡 一句话要点

提出GarmentSegAgent以解决网络时尚图像的自主服装分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 服装分割 自主学习 视觉评估 文本优化 深度学习

📋 核心要点

  1. 现有方法在处理网络时尚图像的服装分割时面临视觉异质性带来的挑战，难以实现准确的自动分割。
  2. 论文提出的GarmentSegAgent框架通过语义规划、空间执行和视觉评估的迭代文本自我优化，实现了自主服装分割。
  3. 在DeepFashion2、ModaNet和Fashionpedia数据集上的实验结果显示，区域重叠和边界准确性均有显著提升，超越了传统方法。

📝 摘要（中文）

网络时尚图像支持视觉产品搜索和消费者与商店匹配等应用，但其视觉异质性使得可靠的服装分割变得具有挑战性。尽管可提示分割技术有所进展，但在没有人类提供空间提示的情况下，自动识别和纠正服装特定错误仍然困难。我们提出了GarmentSegAgent，一个自主框架，通过迭代文本自我优化集成语义规划、空间执行和视觉评估。核心技术CAST（受限归因选择性TextGrad）将视觉错误归因与目标文本优化相连接，识别导致分割错误的指令组件，通过文本梯度选择性更新，并根据服装特定约束验证结果指令。实验结果表明，在DeepFashion2、ModaNet和Fashionpedia数据集上，区域重叠和边界准确性均有显著提升，且比传统TextGrad更可靠。GarmentSegAgent为自主服装理解提供了有前景的方向，具有可扩展的时尚内容分析、视觉检索和网络消费者与商店匹配的潜在应用。

🔬 方法详解

问题定义：本论文旨在解决网络时尚图像中的服装分割问题，现有方法在视觉异质性下难以实现准确的分割，尤其是在没有人类提供空间提示的情况下。

核心思路：论文提出的GarmentSegAgent框架通过结合语义规划、空间执行和视觉评估，利用迭代的文本自我优化来实现自主的服装分割。此设计使得系统能够在推理时自动识别并纠正分割错误。

技术框架：GarmentSegAgent的整体架构包括三个主要模块：语义规划模块负责生成初步分割指令，空间执行模块执行这些指令并生成分割结果，视觉评估模块则对结果进行验证和优化。

关键创新：最重要的技术创新是CAST（受限归因选择性TextGrad），它将视觉错误归因与文本优化相结合，能够在推理时针对特定错误进行选择性更新，从而实现更高的分割精度。

关键设计：在技术细节上，CAST通过识别导致分割错误的指令组件，利用文本梯度进行选择性更新，并根据服装特定约束验证更新后的指令，确保分割结果的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GarmentSegAgent在DeepFashion2、ModaNet和Fashionpedia数据集上实现了区域重叠和边界准确性的一致提升，较传统TextGrad方法的表现更为可靠，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括可扩展的时尚内容分析、视觉检索和网络消费者与商店匹配。通过提高服装分割的准确性，GarmentSegAgent能够为时尚电商平台提供更精准的产品推荐，提升用户体验，并推动时尚行业的数字化转型。

📄 摘要（原文）

Web fashion images support applications such as visual product search and consumer-to-shop matching, yet their visual heterogeneity makes reliable garment segmentation challenging. Despite advances in promptable segmentation, autonomously identifying and correcting garment-specific errors without human-provided spatial prompts remains difficult. We propose GarmentSegAgent, an autonomous framework that integrates semantic planning, spatial execution, and visual evaluation through iterative textual self-refinement. At its core, we introduce CAST (Constrained Attribution-guided Selective TextGrad), which connects visual error attribution with targeted textual optimization. CAST identifies instruction components responsible for segmentation errors, selectively updates them through textual gradients, and validates the resulting instructions against garment-specific constraints. This enables image-specific error correction at inference time while keeping the underlying foundation models frozen. Experiments on DeepFashion2, ModaNet, and Fashionpedia demonstrate consistent improvements in region overlap and boundary accuracy, alongside more reliable refinement than conventional TextGrad. By enabling visual feedback to guide controlled instruction updates, GarmentSegAgent offers a promising direction for autonomous garment understanding, with potential applications in scalable fashion content analysis, visual retrieval, and consumer-to-shop matching on the Web.