S2Dialog: Multimodal Dialogue Retrieval with Semantic and Acoustic-Style Modeling

📄 arXiv: 2608.14029v1 📥 PDF

作者: Xueqi Wang, Zhigang Wang, Runqing Zhang, Zhenqi Jia, Junfeng Zhao

分类: cs.CL

发布日期: 2026-08-14

💡 一句话要点

提出S2Dialog以解决多模态对话检索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态对话检索 语义一致性 声学风格 对比学习 对话系统

📋 核心要点

  1. 现有的对话检索方法多集中于发言级或单模态匹配，无法有效捕捉对话的整体语义和风格一致性。
  2. 本文提出S2Dialog框架，通过对话级文本和声学检索器，分别编码对话的文本和声学特征，提升检索效果。
  3. 在DailyTalk数据集上的实验结果显示，S2Dialog在检索性能上显著优于现有方法，展现出良好的应用潜力。

📝 摘要（中文）

多模态对话检索旨在从多模态对话库中检索与目标对话在文本语义和声学对话风格上相似的对话。这种对话级检索对于情感识别、口语对话系统和对话语音合成等任务至关重要。然而，现有方法主要限于发言级或单模态匹配，未能有效捕捉整个对话的全局语义一致性和风格一致性。为了解决这一问题，本文提出了S2Dialog，一个统一的框架，用于从多模态对话库中进行对话级语义-风格检索。S2Dialog包括对话级文本检索器和对话级声学检索器，分别将对话的文本和声学模态编码为对话级表示。此外，本文引入了对话级文本-声学对比学习，旨在对语义和风格上相似的对话进行对齐，同时区分不相关的对话。在DailyTalk多模态对话数据集上的大量实验表明，S2Dialog实现了卓越的检索性能。

🔬 方法详解

问题定义：本文解决的是多模态对话检索中的语义和声学风格匹配问题。现有方法多为发言级或单模态，未能有效捕捉对话的整体语义和风格一致性。

核心思路：S2Dialog通过构建对话级文本和声学检索器，分别对文本和声学模态进行编码，形成对话级表示，从而实现更高效的检索。

技术框架：S2Dialog的整体架构包括两个主要模块：对话级文本检索器和对话级声学检索器。文本检索器处理文本数据，声学检索器处理声学特征，二者结合实现对话级的检索。

关键创新：最重要的创新在于引入了对话级文本-声学对比学习，能够有效对齐语义和风格相似的对话，同时区分不相关的对话，提升了检索的准确性和一致性。

关键设计：在模型设计中，采用了特定的损失函数来优化对比学习过程，并设计了适应多模态特征的网络结构，以确保对话级表示的有效性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DailyTalk数据集上的实验结果表明，S2Dialog在对话检索任务中取得了显著的性能提升，相较于基线方法，检索准确率提高了XX%，展示了其在多模态对话检索中的有效性。

🎯 应用场景

该研究的潜在应用领域包括情感识别、口语对话系统和对话语音合成等。通过提供语义和风格一致的对话示例，S2Dialog可以显著提升这些任务的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal dialogue retrieval aims to retrieve dialogues from multimodal dialogue banks that are similar to a target dialogue in terms of both textual semantics and acoustic conversational styles. Such dialogue-level retrieval is crucial for many dialogue-related tasks, including Emotion Recognition in Conversation, Spoken Dialogue Systems, and Conversational Speech Synthesis, where external dialogue examples can provide valuable semantic and stylistic references. However, existing retrieval methods are still largely limited to utterance-level or unimodal matching, and often fail to capture the global semantic coherence and stylistic consistency of an entire dialogue. To address this gap, we propose S2Dialog, a unified framework for dialogue-level semantic-style retrieval from multimodal dialogue banks. Specifically, S2Dialog consists of a Dialogue-level Textual Retriever and a Dialogue-level Acoustic Retriever, which encode the textual and acoustic modalities of a dialogue into dialogue-level representations, respectively. To further enhance multimodal retrieval, we introduce Dialogue-level Textual-Acoustic Contrastive Learning, which aligns semantically and stylistically similar dialogues while distinguishing unrelated ones. Extensive experiments on the multimodal dialogue dataset DailyTalk demonstrate that S2Dialog achieves outstanding retrieval performance.