Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets

📄 arXiv: 2606.29837v1 📥 PDF

作者: Kaifeng Chen, Lechao Cheng, Jiyang Li, Shengeng Tang, Fan Zhang, Yantao Pan, Yaxiong Wang, Tuanrui Hui, Zhun Zhong

分类: cs.CV

发布日期: 2026-06-29

💡 一句话要点

提出基于轨迹蒸馏的框架以解决噪声监督下的数据集蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集蒸馏 噪声监督 选择性重加权 教师启发目标 鲁棒性提升

📋 核心要点

  1. 现有的数据集蒸馏方法在噪声监督下容易将有用信号与错误标签混合，导致模型鲁棒性下降。
  2. 本文提出的轨迹基础DD框架通过选择性引导重加权和教师启发的辅助目标，联合抑制噪声并保留知识，避免了重新标记的需求。
  3. 实验结果表明，该框架在对称、非对称及真实世界噪声下，相较于现有最先进的DD基线，均取得了显著的性能提升。

📝 摘要（中文）

数据集蒸馏（DD）旨在将大规模数据集浓缩为紧凑且信息丰富的子集，以实现高效训练和重用。然而，在噪声监督下，DD可能会将有用信号与损坏的关联混合，从而降低鲁棒性。传统的噪声标签处理方法通常需要干净的锚点，并可能放大确认偏差。为此，本文提出了一种基于轨迹的DD框架，旨在在不重新标记或依赖干净子集的情况下，联合抑制噪声并保留可迁移知识。该框架包括选择性引导重加权（SGR）和教师启发的辅助目标（TIAT）两个互补组件，能够在噪声监督下生成更清晰且更丰富的蒸馏数据集。

🔬 方法详解

问题定义：本文旨在解决在噪声监督下进行数据集蒸馏时，如何有效抑制噪声并保留有用信号的问题。现有方法通常依赖于干净的锚点，容易受到确认偏差的影响。

核心思路：提出的轨迹基础DD框架通过引入选择性引导重加权（SGR）和教师启发的辅助目标（TIAT），在不需要重新标记或干净子集的情况下，联合抑制噪声并保留可迁移知识。

技术框架：该框架包括两个主要模块：SGR模块通过融合全局遗忘模式与局部邻域一致性，形成渐进重加权方案；TIAT模块则注入从中间教师动态中提取的辅助残差指导，以强化信息信号。

关键创新：最重要的创新在于SGR和TIAT的结合，能够在噪声监督下生成更清晰、更丰富的蒸馏数据集，显著提高了模型的鲁棒性和性能。

关键设计：SGR模块的设计依赖于全局遗忘模式的分析，而TIAT模块则通过教师动态的中间输出进行残差指导。具体的损失函数和参数设置在实验中经过优化，以确保框架的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，本文提出的框架在对称、非对称及真实世界噪声下，相较于现有最先进的DD基线，均实现了显著的性能提升，具体提升幅度达到XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理及其他需要高效数据集蒸馏的机器学习任务。通过提高数据集的质量和鲁棒性，能够在实际应用中显著提升模型的性能和泛化能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Dataset distillation (DD) condenses large corpora into compact, information-rich subsets for efficient training and reuse. However, under noisy supervision, DD risks condensing corrupted associations together with useful signals, degrading robustness. Conventional noisy-label remedies (sample selection, loss weighting, label correction) tightly couple noise estimation with model optimization, often require clean anchors, and can amplify confirmation bias-assumptions that are misaligned with DD's goal of compact, plug-and-play supervision. We therefore propose a trajectory-based DD framework that jointly suppresses noise and preserves transferable knowledge without relabeling or clean subsets. It comprises two complementary components: Selective Guidance Reweighting (SGR), which fuses global forgetting patterns (second-split forgetting) with local neighborhood consistency into a progressive reweighting scheme that prioritizes clean supervision along the teacher trajectory; and Teacher-Inspired Auxiliary Targets (TIAT), which inject auxiliary residual guidance distilled from intermediate teacher dynamics to reinforce informative signals while remaining internally consistent. Together, SGR and TIAT produce distilled datasets with cleaner and richer representations under noisy supervision. The framework is robust, label-preserving, computationally lightweight, and broadly applicable, yielding consistent gains over state-of-the-art DD baselines across symmetric, asymmetric, and real-world noise.