PRIDE: Privileged Information-enhanced Distillation for Empathetic Dialogue Generation

📄 arXiv: 2606.23124v1 📥 PDF

作者: Jiaqiang Wu, Zhouan Zhu, Shangfei Wang

分类: cs.CL, cs.AI

发布日期: 2026-06-22

💡 一句话要点

提出PRIDE以解决同理心对话生成中的知识蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 同理心对话生成 知识蒸馏 特权信息 多源注意力 双重对齐损失 情感计算 人机交互

📋 核心要点

  1. 现有的知识蒸馏方法在同理心对话生成中无法有效传递细腻的情感理解，限制了其在资源受限环境中的应用。
  2. PRIDE方法通过利用训练期间可用的特权信息，增强了知识蒸馏过程，确保同理心推理的有效转移。
  3. 实验结果显示，PRIDE在多模态和文本数据集上表现优异，部分情况下超越了大型教师模型的性能。

📝 摘要（中文）

大型语言模型在生成多样化和上下文感知的同理心对话方面表现出色，但其计算需求限制了在资源受限环境中的应用。知识蒸馏作为一种压缩解决方案，常常无法有效传递同理心所需的细腻理解，因为它忽视了指导人类连接的隐含上下文线索。为此，本文提出了一种特权信息增强的知识蒸馏方法PRIDE，利用在训练期间可用但在推理时不可用的特权信息（如专家心理注释或未来事件摘要），将教师模型的同理心推理转移到较小的模型中，而无需在部署时依赖额外输入。实验表明，该方法在多模态和文本数据集上表现出竞争力，甚至在某些情况下超越了更大教师模型的准确性和语义相关性。

🔬 方法详解

问题定义：本文旨在解决在同理心对话生成中，知识蒸馏无法有效传递细腻情感理解的问题。现有方法常常忽视隐含的上下文线索，导致模型在推理时表现不佳。

核心思路：PRIDE通过引入特权信息，帮助学生模型在训练阶段学习教师模型的同理心推理过程，从而在推理时无需额外输入，增强了模型的情感理解能力。

技术框架：PRIDE的整体架构包括三个主要模块：同理心推理提示、基于多源注意力机制的特权信息整合以及双重对齐损失函数。这些模块协同工作，确保知识的有效转移。

关键创新：PRIDE的创新之处在于利用特权信息进行知识蒸馏，特别是通过同理心推理提示和双重对齐损失，显著提升了同理心对话生成的质量。与传统方法相比，PRIDE更好地捕捉了情感和上下文信息。

关键设计：PRIDE采用了反向Kullback-Leibler散度和最大均值差异的双重对齐损失，确保在logit和特征层面上都能实现稳健的知识转移。同时，设计了多源注意力机制，以有效整合不同来源的特权信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PRIDE在多模态和文本数据集上表现优异，部分情况下其性能与大型教师模型相当，甚至在准确性和语义相关性上有所超越，展示了显著的提升幅度。

🎯 应用场景

该研究的潜在应用领域包括智能客服、心理健康支持和社交机器人等，能够在资源受限的环境中提供更具同理心的对话生成能力。未来，PRIDE方法可能推动更广泛的情感计算和人机交互研究，提升机器对人类情感的理解与响应能力。

📄 摘要（原文）

Large language models have demonstrated significant capabilities in generating diverse and context-aware responses for empathetic dialogue. However, their computational demands severely limit their deployment in resource-constrained environments. While knowledge distillation offers a promising compression solution, it often fails to transfer the nuanced understanding essential for empathy, as it overlooks the implicit contextual cues that guide human connection. To bridge this gap, we propose a \textbf{pr}ivileged \textbf{i}nformation-enhanced knowledge \textbf{d}istillation method for \textbf{e}mpathetic dialogue generation (PRIDE). Our method leverages privileged information, such as expert psychological annotations or future event summaries, which is available exclusively during training but unavailable at inference time. This allows us to transfer the teacher model's empathetic reasoning to smaller models without relying on extra inputs during deployment. Specifically, PRIDE has three key components: (1) An empathy-reasoning prompt that guides the teacher to explicitly decompose the empathetic process into understanding feelings and analyzing situations step-by-step; (2) A multi-source attention mechanism that directs the student to effectively integrate privileged information; (3) A dual-alignment loss that combines reversed Kullback-Leibler divergence and maximum mean discrepancy to ensure robust knowledge transfer at both logit and feature levels. Experiments on multi-modal and text-only datasets demonstrate that our method achieves competitive performance, and in some cases matches or even surpasses larger teacher models in terms of accuracy and semantic relevance.