TRACE: Temporal Relationship-Aware Conversational Entrainment Detection in Dyadic Speech

📄 arXiv: 2606.30543v1 📥 PDF

作者: Sathvik Manikantan Napa Ugandhar, Hao Zhang, Alison Gunzler, Yuzhe Wang, Thomas Thebaud, Georgi Tinchev, Venkatesh Ravichandran, Laureano Moro-Velázquez

分类: cs.CL, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出TRACE框架以解决对话中情感共鸣检测问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 情感共鸣 对话系统 声学嵌入 机器学习 数据集

📋 核心要点

  1. 现有方法在情感共鸣检测中未能充分考虑对话背景和社会关系的影响，导致检测准确性不足。
  2. 本文提出TRACE框架，通过将双人对话建模为声学嵌入序列，强调情感共鸣的时间关系和上下文信息。
  3. 在DyadEE数据集上的实验结果显示，TRACE框架的准确率达到97.01%，显著优于现有基线方法。

📝 摘要（中文）

随着语音AI代理的普及，理解对话互动中的情感共鸣变得愈发重要。情感共鸣受到社会关系和对话背景的影响，进而影响情感协调。本文引入了DyadEE数据集，用于检测双人对话中的情感共鸣，包含情感共鸣的对话和通过交换伙伴及情感重合成打断共鸣的合成互动。我们进一步提出TRACE框架，将双人互动建模为有序的声学嵌入序列，利用情感微调的Whisper表示，视每个样本为互动轨迹而非简单的语句池。实验结果表明，结合对话背景和关系信息能显著提高情感共鸣检测的准确性，TRACE框架的最佳准确率达到97.01%。

🔬 方法详解

问题定义：本文旨在解决双人对话中情感共鸣检测的准确性问题。现有方法未能有效利用对话背景和社会关系信息，导致情感共鸣的识别效果不佳。

核心思路：TRACE框架通过将对话视为有序的声学嵌入序列，强调时间关系和上下文信息，从而提升情感共鸣检测的准确性。这样的设计使得模型能够捕捉到情感变化的动态过程。

技术框架：TRACE框架的整体架构包括数据预处理、声学嵌入提取、情感特征建模和情感共鸣检测四个主要模块。首先，从对话中提取声学特征，然后通过情感微调的Whisper模型生成声学嵌入，最后进行情感共鸣的检测。

关键创新：TRACE的主要创新在于将双人对话建模为有序的互动轨迹，而非简单的语句池。这一方法能够更好地捕捉情感共鸣的时间动态特征，与传统方法相比具有显著的优势。

关键设计：在模型设计中，采用了情感微调的Whisper表示作为声学嵌入，结合了对话背景和社会关系信息。损失函数的设计也考虑了情感共鸣的时间序列特性，以提高模型的学习效果。

🖼️ 关键图片

fig_0

📊 实验亮点

TRACE框架在DyadEE数据集上的实验结果显示，准确率达到97.01%，显著优于现有基线方法。这一结果表明，结合对话背景和社会关系信息能够有效提升情感共鸣检测的性能，具有重要的研究价值和应用前景。

🎯 应用场景

该研究的潜在应用领域包括智能客服、情感分析和人机交互等。通过提高情感共鸣检测的准确性，TRACE框架能够增强AI代理在对话中的情感理解能力，从而提升用户体验和互动质量。未来，该技术有望在社交机器人和情感计算等领域发挥重要作用。

📄 摘要（原文）

With the proliferation of speech AI agents, understanding emotional entrainment in conversational interaction has become increasingly important. Emotional entrainment is shaped by social relationships and conversational context, influencing affective coordination over time. We introduce DyadEE, a dataset for emotional entrainment detection in dyadic speech interactions, containing both emotionally entrained conversations and synthetic interactions where entrainment is disrupted through partner swapping and emotion resynthesis. We further propose TRACE, a window-level framework that models dyadic interaction as ordered sequences of acoustic embeddings derived from emotion fine-tuned Whisper representations, treating each sample as an interaction trace rather than pooled utterances. Experimental results on DyadEE show that incorporating conversational context and relationship information improves emotional entrainment detection, with TRACE achieving the best accuracy of 97.01%.