Confusion-Aware Transfer Teacher Curriculum Learning Framework: Disentangling Scoring and Pacing Effects
作者: Savini Kommalage, Sanka Mohottala, Asiri Gawesha, Dulara Madhusanka, Menan Velayuthan, Dharshana Kasthurirathna, Mahima Milinda Alwis Weerasinghe, Charith Abhayaratne
分类: cs.LG, cs.AI
发布日期: 2026-06-16
备注: Accepted at International Conference on Machine Learning (ICML) GlobalSouthML Workshop (2026)
💡 一句话要点
提出混淆感知转移教师课程学习框架以解决评分与节奏效应问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 课程学习 混淆感知 难度评分 数据效率 模型可解释性
📋 核心要点
- 现有课程学习方法难以将模型性能提升归因于样本评分或节奏设计，存在评估困难。
- 论文提出了一种混淆感知的难度评分方法，结合了正确类别置信度与错误类别概率分布，以改进课程学习效果。
- 实验结果表明，混淆感知课程排序在数据效率上显著优于随机排序，尤其在数据量较少时表现出更好的性能。
📝 摘要（中文）
课程学习结合了样本评分和难度节奏的设计选择，使得难以将观察到的提升归因于任一组件。本文通过两个评估协议解耦这些因素，验证了混淆感知的难度评分，该评分考虑了正确类别的置信度和错误类别的概率分布。在CIFAR-10数据集上，所提出的评分生成了与人类直觉一致的模型可解释难度排名。然而，在全数据情况下，课程或反课程排序并未提高准确性，表明仅改善评分函数不足以克服已知的课程学习失败模式。相反，混淆感知课程排序在数据效率上表现出一致的优势，在20%数据情况下超越随机排序达8.7个百分点，显示了转移教师框架作为数据高效训练方法的潜力。
🔬 方法详解
问题定义：本文旨在解决课程学习中评分与节奏效应的混淆问题，现有方法难以明确评估各自对模型性能的贡献。
核心思路：通过引入混淆感知的难度评分，考虑正确类别的置信度和错误类别的概率分布，来优化课程学习的设计。
技术框架：整体架构包括两个评估协议：阶段性测试子集独立验证评分函数，以及将相同节奏应用于随机排序数据的基线。
关键创新：提出的混淆感知难度评分方法能够生成与人类直觉一致的难度排名，显著提升了模型的可解释性，与传统方法相比具有更高的适应性。
关键设计：在实验中，使用ResNet-18和VGG-16网络结构，设置了不同的评分函数和节奏策略，确保了评估的全面性与准确性。通过对比实验验证了混淆感知课程排序的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，混淆感知课程排序在20%数据情况下相比随机排序提高了模型性能达8.7个百分点，表明该方法在数据效率上具有显著优势，能够有效提升课程学习的效果。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和自适应学习平台。通过优化课程学习策略，可以提升模型在少量数据下的学习效率，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Curriculum learning couples two design choices, how samples are scored by difficulty and how harder samples are paced into training, making it difficult to attribute observed gains to either component. We disentangle these factors with two evaluation protocols: stage-wise test subsets that validate scoring functions independently of curriculum training, and a baseline that applies the same pacing schedule to randomly ordered data. Within the Transfer Teacher framework (TTF), we use these protocols to evaluate a confusion-aware difficulty score that considers both correct-class confidence and the probability distribution over incorrect classes. On CIFAR-10 with ResNet-18 and VGG-16, the proposed score produces model-interpretable difficulty rankings that align with human intuition. However, at full data, neither curriculum nor anti-curriculum ordering improves accuracy over standard training, indicating that improving the scoring function alone is insufficient to overcome the known failure modes of curriculum learning in TTF. In contrast, We find that confusion-aware curriculum ordering result in consistent data-efficiency benefits, outperforming random ordering by up to 8.7% points at the 20% data regime, suggesting the potential of TTF as a data-efficient training method.