S$^2$-RL: Sample-Set Dual Reinforcement Learning for Generative Semantic Segmentation Dataset Distillation

📄 arXiv: 2610.35491v1 📥 PDF

作者: Haoyu Wang, Fei Zhou, Qingqing Qiu, Lei Zhang, Wei Wei, Chen Ding

分类: cs.CV

发布日期: 2026-10-26

备注: Accepted at NeurIPS 2026. Project Page: https://00why00.github.io/S2RL/

💡 一句话要点

提出S$^2$-RL框架以解决语义分割数据集蒸馏中的计算瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集蒸馏 语义分割 强化学习 生成模型 多样性优化 图像生成 深度学习

📋 核心要点

  1. 现有的数据集蒸馏方法在语义分割任务中面临高计算成本和语义知识凝聚不足的挑战。
  2. 本文提出的S$^2$-RL框架通过将SSDD形式化为扩散模型，利用文本提示生成新颖的语义分布图像。
  3. 在ADE20K和COCO数据集上的实验结果显示，S$^2$-RL在性能上显著超越了现有的最先进基线。

📝 摘要（中文）

尽管数据集蒸馏在图像分类中取得了显著进展，但在语义分割等密集预测任务中面临两大瓶颈：基于双层优化的方法因逐像素梯度展开而导致计算成本高，而基于代理的生成方法仅将视觉纹理注入固定的语义掩膜，未能有效凝聚丰富的语义知识。为同时解决这两个瓶颈，本文提出了一种新颖的样本集双重强化学习框架（S$^2$-RL），将语义分割数据集蒸馏（SSDD）形式化为扩散模型基础的文本到图像生成范式，通过简洁的文本提示灵活生成具有信息量和新颖语义分布的图像。通过组相对策略优化（GRPO）微调扩散策略，利用样本集双重奖励范式，最大化样本间语义分布的多样性。大量实验表明，S$^2$-RL在ADE20K和COCO数据集上显著提升了性能，建立了SSDD的新基准。

🔬 方法详解

问题定义：本文旨在解决语义分割数据集蒸馏中的计算瓶颈和语义知识凝聚不足的问题。现有方法在逐像素梯度展开上消耗大量计算资源，且生成的语义掩膜缺乏丰富的语义信息。

核心思路：S$^2$-RL框架通过将数据集蒸馏形式化为扩散模型的文本到图像生成过程，利用简洁的文本提示生成具有多样性和信息量的图像，从而有效地凝聚语义知识。

技术框架：该框架包括两个主要模块：扩散模型生成模块和强化学习优化模块。扩散模型负责根据文本提示生成图像，而强化学习模块通过组相对策略优化（GRPO）来微调生成策略。

关键创新：S$^2$-RL的核心创新在于样本集双重奖励范式，既考虑单个样本的语义对齐和特征多样性，又最大化样本集间的语义分布多样性。这一设计显著提升了生成样本的质量和多样性。

关键设计：在损失函数设计上，采用了语义对齐损失和多样性损失，确保生成的样本在语义上与输入文本一致，同时保持样本间的多样性。网络结构上，扩散模型采用了最新的生成网络架构，以提高生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ADE20K和COCO数据集上的实验结果表明，S$^2$-RL在语义分割数据集蒸馏任务中显著提升了性能，相较于最先进的基线方法，平均提升幅度达到XX%，并在多个评估指标上均表现优异，确立了新的基准。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和虚拟现实等需要高质量语义分割的场景。通过有效的样本生成，S$^2$-RL能够为这些领域提供更高效的数据集构建方案，降低数据标注成本，提升模型训练效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

While dataset distillation has witnessed significant advances in image classification, its extension to dense prediction tasks such as semantic segmentation is plagued by two core bottlenecks: bi-level optimization-based approaches suffer from prohibitive computational costs stemming from pixel-wise gradient unrolling, whereas proxy-based generative methods merely infuse visual textures into fixed semantic masks derived from real data, thus failing to condense rich semantic knowledge into a compact set of informative, novel scene generations. To address both bottlenecks simultaneously, we propose a novel Sample-Set Reinforcement Learning (S$^2$-RL) framework for generative semantic segmentation dataset distillation (SSDD). Specifically, S$^2$-RL formulates SSDD as a diffusion model based text-to-image generation paradigm, enabling flexible generation of images with informative, novel semantic distributions via a concise text prompt. Furthermore, we fine-tune a diffusion policy via Group Relative Policy Optimization (GRPO), leveraging a sample-set dual reward paradigm: for individual samples, it enforces semantic alignment with input text prompts and intra-class feature diversity; for sample sets, it maximizes inter-sample semantic distribution diversity by solving a contextual multi-armed bandit problem. These design choices enable S$^2$-RL to distill large-scale semantic segmentation datasets into a compact set of generated samples that encapsulate diverse, informative semantic knowledge without the need of pixel-wise gradient unrolling. Extensive experiments on the ADE20K and COCO datasets demonstrate that S$^2$-RL achieves substantial and consistent improvements over state-of-the-art baselines, establishing a new benchmark for SSDD.