DGSeg: Dynamic Gating of Semantic-Spatial Guided Predictions for Reasoning Segmentation

📄 arXiv: 2607.04779v1 📥 PDF

作者: Ruizhe Zeng, Siyu Cao, Lu Zhang, Zhiyong Liu

分类: cs.CV

发布日期: 2026-07-06

备注: Accepted to ECCV2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出DGSeg以解决推理分割中的模糊性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理分割 多模态融合 动态门控 语义线索 空间线索 计算机视觉 深度学习

📋 核心要点

  1. 现有推理分割方法在将丰富的推理信息压缩为稀疏线索时，常常引入模糊性和噪声，影响分割精度。
  2. DGSeg框架通过独立处理语义和空间线索，利用动态门控模块自适应融合预测，抑制噪声和冲突区域。
  3. 在多个基准测试中，DGSeg的表现超越了强基线，验证集和测试集的gIoU分别达到了69.6%和67.3%。

📝 摘要（中文）

推理分割旨在根据复杂的语言查询预测目标的逐像素掩膜。现有方法利用多模态大型语言模型（MLLMs）进行视觉-语言推理，并生成中间目标线索（如点或框）来指导分割模型。然而，将丰富的推理压缩为稀疏线索往往引入模糊性和噪声，阻碍了线索准确保留推理意图。为此，本文提出DGSeg，一个推理分割框架，通过学习融合由语义和空间线索引导的预测，显著提升了分割效果。实验结果表明，DGSeg在多个基准测试中表现优异，ReasonSeg验证集和测试集的gIoU分别达到了69.6%和67.3%。

🔬 方法详解

问题定义：本文解决的是推理分割中的模糊性和噪声问题，现有方法在处理多模态线索时，往往会将错误或模糊的线索共同输入到单一分割过程中，导致整体预测受到影响。

核心思路：DGSeg通过独立的分割分支处理语义和空间线索，利用动态门控模块自适应融合预测，从而有效抑制噪声和冲突区域，提升分割精度。

技术框架：DGSeg的整体架构包括一个多模态大型语言模型（MLLM），该模型同时推理目标身份和空间位置，生成互补的语义和空间线索，并将其输入到两个独立的分割分支中。动态门控模块根据分支质量进行自适应融合。

关键创新：DGSeg的主要创新在于引入动态门控模块，该模块通过相对分支质量监督来抑制噪声和冲突区域，与现有方法的单一分割处理方式形成鲜明对比。

关键设计：在设计中，动态门控模块的训练采用相对分支质量监督，确保在融合过程中优先考虑高质量的预测。此外，网络结构采用轻量化设计，以提高计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DGSeg在多个基准测试中表现优异，ReasonSeg验证集和测试集的gIoU分别达到了69.6%和67.3%，显著超越了现有强基线，展示了其在推理分割任务中的有效性和优势。

🎯 应用场景

DGSeg的研究成果在多个领域具有广泛的应用潜力，如自动驾驶、智能监控和医疗影像分析等。通过提高推理分割的准确性，该方法能够帮助系统更好地理解复杂场景，从而提升决策能力和自动化水平。未来，该技术可能在更复杂的视觉-语言交互任务中发挥重要作用。

📄 摘要（原文）

Reasoning segmentation aims to predict pixel-wise masks for targets given complex language queries. Existing approaches leverage Multimodal Large Language Models (MLLMs) for vision-language reasoning and generate intermediate target cues (e.g., points or boxes) to guide a segmentation model. However, compressing rich reasoning into sparse cues often introduces ambiguity and noise, preventing these cues from accurately preserving the reasoning intent. While multiple complementary cues can enrich target information, existing methods typically feed them jointly into a single segmentation process, allowing ambiguous or erroneous cues to affect the entire prediction. Therefore, we propose DGSeg, a reasoning segmentation framework that learns to fuse predictions guided by semantic and spatial cues. Specifically, the MLLM jointly reasons about both target identity and spatial location, producing complementary semantic and spatial cues that are fed into separate segmentation branches. Their predictions are adaptively integrated by a lightweight dynamic gating module trained with relative branch-quality supervision to suppress noisy or conflicting regions. Extensive experiments demonstrate that DGSeg consistently outperforms strong baselines on multiple benchmarks and achieves 69.6% and 67.3% gIoU on the challenging ReasonSeg validation and test splits. Code is available at https://github.com/RZZeng/DGSeg.