Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas

📄 arXiv: 2607.02504 📥 PDF

作者: Yuxuan Li, Lingxi Xie, Xinyue Huo, Jihao Qiu, Jiacheng Shao, Pengfei Chen, Jiannan Ge, Kaiwen Duan, Qi Tian

分类: cs.CL, cs.AI, cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出DramaSR-LRM以解决长视频剧集中的说话人识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 说话人识别 多模态融合 推理模型 数据集构建

📋 核心要点

  1. 长视频剧集中的复杂情节使得说话人识别成为一项艰巨的任务，现有方法在短发言的准确性上存在不足。
  2. 本文提出DramaSR-532K数据集和DramaSR-LRM方法，通过多模态信息整合提升说话人识别的准确性。
  3. 实验结果显示，DramaSR-LRM在短发言识别上性能显著优于现有基线，提升幅度明显。

📝 摘要（中文）

长视频剧集在全面视频理解中面临巨大挑战，尤其是在复杂故事情节中，准确识别每个角色的发言至关重要。本文通过两个主要贡献推动了这一领域的发展。首先，我们引入了DramaSR-532K，这是一个大规模基准数据集，包含532K条注释对话，涵盖900多个独特角色，要求整合听觉、语言和视觉线索进行说话人识别。其次，我们提出了DramaSR-LRM，这是一种基于大型推理模型的稳健方法，旨在通过多模态工具使用自主聚合上下文证据，从而实现高保真度的角色归属。实验结果表明，DramaSR-LRM在短发言的识别上显著优于现有基线，尤其是在声学生物特征不可靠的情况下。

🔬 方法详解

问题定义：本文旨在解决长视频剧集中的说话人识别问题，现有方法在短发言的识别上表现不佳，尤其是声学特征不可靠时。

核心思路：我们提出的DramaSR-LRM方法通过多模态工具使用，聚合听觉、语言和视觉信息，以实现更高的识别准确性。

技术框架：该方法的整体架构包括数据预处理、特征提取、上下文聚合和最终的说话人识别模块，确保信息的全面整合。

关键创新：最重要的创新在于引入了DramaSR-532K数据集和基于大型推理模型的多模态聚合策略，这与传统方法的单一模态依赖形成鲜明对比。

关键设计：在模型设计中，我们采用了特定的损失函数以优化多模态信息的融合，并在网络结构上进行了调整，以适应复杂的对话场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DramaSR-LRM在短发言的说话人识别上相较于现有基线提升了显著的准确率，尤其在声学特征不可靠的情况下，表现出更高的鲁棒性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括影视制作、智能助手和社交媒体分析等，能够有效提升长视频内容的理解和交互体验。未来，该方法有望在多模态学习和人机交互中发挥更大作用。

📄 摘要（原文）

Long-form TV dramas present a formidable challenge for comprehensive video understanding, where deciphering complex storyline often relies on \textbf{speaker recognition}, the task of accurately attributing each spoken utterance to its respective character. In this paper, we advance this field through two primary contributions. (1) We introduce \textbf{DramaSR-532K}, a large-scale benchmark comprising 532K annotated dialogue lines across more than 900 unique characters, necessitating the integration of auditory, linguistic, and visual cues for speaker recognition. (2) We propose \textbf{DramaSR-LRM}, a robust approach built upon a large reasoning model (LRM). DramaSR-LRM is designed to autonomously aggregate contextual evidence via multimodal tool-use, synthesizing diverse inputs to achieve high-fidelity attribution. Experimental results demonstrate that DramaSR-LRM significantly outperforms existing baselines, particularly on short utterances where acoustic biometrics are inherently unreliable. \textit{All the data and code will be made publicly available at the project page:this https URL.}