BioKD: Selective Physiology-to-Video Knowledge Distillation via Reliability Gate for Emotion Recognition

📄 arXiv: 2608.06023v1 📥 PDF

作者: Bojing Hou, Ruohao Li, Yitong Zhu, Hongjun Liu, Luwen Yu, Yuyang Wang

分类: cs.LG

发布日期: 2026-08-06

💡 一句话要点

提出BioKD以解决模糊行为线索下的情感识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感识别 知识蒸馏 生理信号 视频分析 可靠性感知 多模态学习 深度学习

📋 核心要点

  1. 现有视频情感识别方法在模糊或社会掩盖的行为线索下表现不佳，且生理信号的部署性差。
  2. 提出的BioKD框架利用生理信号指导视频模型学习情感表示，并通过可靠性门控机制抑制不可靠监督的负面影响。
  3. 实验结果显示，BioKD在DEAP和AMIGOS数据集上分别达到了68.01%和65.29%的识别率，显著优于传统方法。

📝 摘要（中文）

为了解决视频情感识别在模糊或社会掩盖行为线索下的局限性，以及生理信号的部署性差，本文提出了一种可靠性感知的生理到视频知识蒸馏框架BioKD。该框架利用生理信号作为特权信息，指导视频基础的学生模型学习深层情感表示，同时在推理时仅依赖非侵入性的视频输入。为应对生理教师监督的高噪声和不稳定性，BioKD结合了样本级可靠性感知门控机制和渐进蒸馏策略，能够自适应调节知识转移的强度，从而抑制不可靠生理监督引起的负迁移。实验结果表明，BioKD在DEAP和AMIGOS数据集上均优于代表性基线，展示了在主观独立评估设置下的性能提升。

🔬 方法详解

问题定义：本文旨在解决视频情感识别在模糊行为线索下的局限性，尤其是生理信号的高噪声和不稳定性问题。现有方法在处理生理信号时，往往受到个体差异、信号伪影和时间不一致性的影响，导致性能下降。

核心思路：BioKD框架的核心思想是将生理信号作为特权信息，通过知识蒸馏引导视频模型学习情感表示，同时在推理阶段仅依赖视频输入。通过引入可靠性感知机制，动态调节知识转移的强度，从而减少不可靠监督的负迁移。

技术框架：BioKD的整体架构包括生理信号的教师模型和视频学生模型，采用渐进蒸馏策略和样本级可靠性门控机制。训练过程中，教师模型提供生理信号的监督，而学生模型则学习从视频中提取情感特征。

关键创新：BioKD的主要创新在于引入了可靠性感知门控机制，能够有效抑制不可靠生理信号对知识转移的负面影响。这一设计与传统的知识蒸馏方法不同，强调了监督可靠性的显著性。

关键设计：在模型设计中，BioKD采用了特定的损失函数以平衡教师和学生模型之间的知识转移，同时设置了可靠性门控参数，以动态调整知识转移的强度。网络结构上，学生模型保持了与视频输入相适应的设计，确保推理时的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BioKD在DEAP数据集上实现了68.01%的试验级唤醒识别率，而在更具挑战性的受试者级设置下也达到了65.29%。这些结果显著优于传统基线，验证了模型在主观独立评估中的有效性。

🎯 应用场景

BioKD框架具有广泛的应用潜力，尤其在情感计算、心理健康监测和人机交互等领域。通过有效结合生理信号与视频数据，该方法能够在不依赖复杂传感器的情况下，实现高效的情感识别，未来可能推动智能设备在情感理解方面的进步。

📄 摘要（原文）

To address the limitations of video-based emotion recognition under ambiguous or socially masked behavioral cues, as well as the poor deployability of physiological signals, this paper proposes a reliability-aware physiology-to-video knowledge distillation framework, termed BioKD. The proposed framework leverages physiological signals as privileged information during training to guide a video-based student model in learning deep affective representations, while relying solely on non-intrusive video inputs at inference time. To cope with the high noise and instability of physiological teacher supervision caused by inter-subject variability, signal artifacts, and temporal inconsistency, BioKD incorporates a sample-wise reliability-aware gating mechanism together with a progressive distillation strategy. By adaptively regulating the strength of knowledge transfer, the framework suppresses negative transfer induced by unreliable physiological supervision and enables more stable cross-modal distillation. Experiments on DEAP and AMIGOS show that BioKD consistently outperforms representative baselines under both trial-wise and subject-wise evaluation protocols for valence and arousal recognition. For example, BioKD achieves 68.01\% on DEAP (trial-wise arousal) and 65.29\% under the more challenging subject-wise setting, demonstrating improved performance under a subject-independent evaluation setting. Further analyses show that BioKD effectively mitigates overconfident teacher errors and outperforms an entropy-only weighting strategy, confirming the importance of explicitly modeling supervision reliability. In addition, BioKD introduces no additional inference-time overhead relative to the same video student architecture and removes the need for physiological sensing and multimodal synchronization.