Evaluating Large Language Models Abilities for Addressee, Turn-change, and Next Speaker Prediction in Meetings

📄 arXiv: 2606.17542v1 📥 PDF

作者: Ryo Fukuda, Takatomo Kano, Siddhant Arora, Marc Delcroix, Naohiro Tawara, Atsunori Ogawa, Yuya Chiba, Atsushi Ando, William Chen, Shinji Watanabe

分类: cs.CL

发布日期: 2026-06-16

备注: Accepted to INTERSPEECH 2026

💡 一句话要点

提出多模态大语言模型以解决会议中的发言者预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态对话 发言者预测 大语言模型 轮次变化 交谈上下文 AMI语料库 机器学习 自然语言处理

📋 核心要点

  1. 现有方法在多模态对话中难以准确预测发言者，尤其是在缺乏音频和视觉信息的情况下。
  2. 论文提出了一个评估框架，利用大语言模型进行发言者识别和轮次变化预测，强调了交谈上下文的重要性。
  3. 实验结果显示，大语言模型在下一个发言者预测上表现优于监督模型和人类，尽管在发言者识别和轮次变化预测上仍有提升空间。

📝 摘要（中文）

本研究探讨了多模态多方对话中的轮次转换，构建了一个评估框架，涵盖了发言者识别、轮次变化预测和下一个发言者预测三项任务。通过对AMI语料库的实验，发现大语言模型在下一个发言者预测上超越了监督模型和人类，尽管未在目标领域进行训练且未使用音频或视觉信息。同时，多模态大语言模型在发言者识别和轮次变化预测上优于文本基础的大语言模型，但仍低于人类表现，显示出利用原始音频-视觉信号的困难。消融分析表明，交谈上下文对下一个发言者预测至关重要。

🔬 方法详解

问题定义：本论文旨在解决多模态多方对话中的发言者预测问题。现有方法在缺乏音频和视觉信息的情况下，往往无法准确识别发言者和预测轮次变化，导致对话理解的局限性。

核心思路：论文通过构建一个评估框架，利用大语言模型（LLMs）进行发言者识别和轮次变化预测，强调了交谈上下文在这些任务中的重要性。

技术框架：整体架构包括三个主要模块：发言者识别、轮次变化预测和下一个发言者预测。每个模块均使用大语言模型进行训练和评估，并与监督模型和人类表现进行对比。

关键创新：最重要的技术创新在于将大语言模型应用于多模态对话的发言者预测任务，尤其是在未使用音频和视觉信息的情况下，展示了其在下一个发言者预测上的优越性。

关键设计：在模型训练中，采用了特定的损失函数以优化预测准确性，并通过消融分析验证了交谈上下文对预测结果的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大语言模型在下一个发言者预测上超越了监督模型和人类，尽管未在目标领域进行训练。多模态大语言模型在发言者识别和轮次变化预测上表现优于文本基础的大语言模型，但仍低于人类表现，显示出进一步优化的空间。

🎯 应用场景

该研究的潜在应用领域包括会议记录自动化、智能助手和人机交互系统。通过提高对话中的发言者预测能力，可以显著提升会议效率和信息获取的准确性，未来可能在多种社交和商业场景中发挥重要作用。

📄 摘要（原文）

We investigate turn-taking in multimodal multi-party conversations using large language models (LLMs). We construct an evaluation framework for three tasks: addressee detection, turn-change prediction, and next speaker prediction. We compare supervised models trained for these tasks, text-based LLMs, multimodal LLMs (MM-LLMs), and human subjects. Experiments on the AMI corpus showed that LLMs outperformed supervised models and humans in next speaker prediction, despite not being trained on the target domain and without access to audio or visual information. An MM-LLM performed better than text-based LLMs on addressee detection and turn-change prediction but remained below human performance, indicating difficulty leveraging raw audio-visual signals. Ablation analyses revealed that conversational context was critical, particularly for next speaker prediction. We observed that human and LLM prediction patterns were similar, and intervals with frequent turn changes were difficult for both.