Relational Knowledge Distillation Brings DNN Representations Close Enough to Humans to Be Aligned Without Supervision

📄 arXiv: 2608.27877v1 📥 PDF

作者: Yuria Shimizu, Soh Takahashi, Takato Horii, Masafumi Oizumi

分类: cs.CV, q-bio.NC

发布日期: 2026-08-28

备注: 53 pages, 6 figures, 5 tables, including Supplementary Information (15 pages, 1 figure, 4 tables)

💡 一句话要点

提出关系知识蒸馏方法以实现DNN与人类表征的无监督对齐

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 关系知识蒸馏 深度神经网络 人类心理表征 无监督学习 Gromov-Wasserstein

📋 核心要点

  1. 现有DNN表征与人类心理表征之间的相似性不足，限制了DNN作为人类视觉模型的有效性。
  2. 本文提出通过关系知识蒸馏（RKD）将人类表征的关系结构直接转移到DNN中，以缩小两者之间的差距。
  3. 实验表明，经过RKD微调的DNN在个体对象层面的对齐显著提高，且全局结构更接近人类表征。

📝 摘要（中文）

将深度神经网络（DNN）的内部表征与人类心理表征联系起来，对于将DNN作为人类视觉的计算模型至关重要。现有DNN表征与人类心理表征的相似性不足，且后者通常通过大规模相似性判断来测量。本文提出了一种无监督的方法，使用Gromov-Wasserstein最优传输（GWOT）来估计人类与DNN之间的对应关系，并通过关系知识蒸馏（RKD）对预训练DNN进行微调，从而在个体对象层面实现对齐。实验结果表明，微调后的DNN在测试集上与人类的对齐程度显著提高，且这种改进主要体现在全局结构的相似性上。

🔬 方法详解

问题定义：本文旨在解决深度神经网络（DNN）表征与人类心理表征之间的相似性不足问题。现有方法在个体对象层面的对齐效果不佳，且缺乏对独立于训练数据的人类嵌入的泛化能力。

核心思路：论文提出了一种无监督的比较方法，即Gromov-Wasserstein最优传输（GWOT），通过内部距离结构来估计人类与DNN的对应关系，从而实现细粒度的对齐。结合关系知识蒸馏（RKD）方法，进一步提升DNN的表征能力。

技术框架：整体流程包括：首先使用GWOT方法分析DNN与人类表征的距离结构，然后通过RKD对预训练DNN进行微调，最后在独立测试集上评估对齐效果。主要模块包括距离结构估计、知识蒸馏和对齐评估。

关键创新：最重要的技术创新在于将人类表征的关系结构直接转移到DNN中，显著改善了DNN的全局结构，使其更接近人类心理表征。与传统方法相比，本文的方法在无监督条件下实现了更高的对齐精度。

关键设计：在RKD的实现中，关键参数设置包括距离度量的选择和蒸馏损失函数的设计。网络结构上，采用了预训练的DNN作为基础模型，确保了蒸馏过程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过关系知识蒸馏（RKD）微调的DNN在个体对象层面的对齐精度显著提高，尤其是在全局结构的相似性上。具体而言，DNN与人类表征的对齐程度在测试集上达到了显著的提升，验证了无监督对齐的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、心理学和人机交互等。通过实现DNN与人类表征的无监督对齐，可以提升机器学习模型在视觉任务中的表现，使其更好地模拟人类的视觉认知过程，具有重要的实际价值和未来影响。

📄 摘要（原文）

Linking the internal representations of deep neural networks (DNNs) to human mental representations is important for using DNNs as computational models of human vision. Existing DNN representations remain insufficiently similar to human mental representations, which are not directly observable and are therefore commonly measured through large-scale similarity judgments of object images. A natural approach to narrowing this gap is to directly transfer the relational structure of human representations into DNNs, and previous studies have reported improved human-DNN representational similarity. However, whether this improvement holds under stricter evaluation remains untested in two respects: fine-grained alignment at the individual-object level, and generalization to a human embedding derived from a dataset independent of the training data. Here, we employ an unsupervised comparison method, Gromov-Wasserstein optimal transport (GWOT), which estimates human-DNN correspondences from the internal distance structure alone and thereby tests fine-grained alignment. We further assess generalization on a curated test set of concepts non-overlapping with the training data. We show that fine-tuning pre-trained DNNs with Relational Knowledge Distillation (RKD), an established relational transfer method, brings DNNs close enough to humans to be aligned at the individual-object level on this test set. We also show that this improvement is driven by a more human-like global structure, as reflected in the ordering of distances among coarse categories, while the local human-DNN nearest-neighbor overlap rate remains largely unchanged. These findings indicate that relational transfer from humans brings the global structure of pre-trained DNNs close enough to the human structure to enable fine-grained human-DNN alignment without supervision.