Multi-turn Conversational AI from Text to Multimodal Interaction: Data, Models, Evaluation, and Open Challenges
作者: Syeda Faiza Ahmed, Zien Sheikh Ali, Hunzalah Hassan Bhatti, Firoj Alam, Shammur Absar Chowdhury
分类: cs.CL, cs.AI, cs.SD
发布日期: 2026-08-18
备注: Multi-turn Conversational AI; Multimodal Dialogue; AudioLLMs; Conversational Memory; Tool-Augmented Agents; Dialogue Evaluation
🔗 代码/项目: GITHUB
💡 一句话要点
提出多模态对话AI以解决持续交互中的记忆和上下文问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态对话 持续交互 记忆管理 上下文保持 用户意图识别 智能助手 人机交互
📋 核心要点
- 当前对话AI系统在多回合交互中难以保持上下文和记忆，导致用户体验不佳。
- 本文提出了一种系统化的文献回顾，涵盖多模态对话AI的各个方面，旨在识别并解决现有方法的不足。
- 分析结果显示，尽管多模态能力有所提升，但系统在持久记忆和跨回合基础方面仍存在显著挑战。
📝 摘要（中文）
对话AI正在从孤立的文本提示向持续的多模态交互发展。在真实对话中，用户会澄清目标、修正请求、打断回应、切换话题并引入新证据，同时期望系统能够在多个回合中保持上下文。这使得多回合对话成为一个独特的挑战，要求系统维护和更新记忆，跨模态、工具和外部知识进行响应，并在语言和文化上进行适应。本文回顾了文本对话、音频LLMs、语音原生系统、多模态和全模态系统以及工具增强代理的多回合对话AI。我们围绕数据集和基准、建模范式、训练策略、评估设置和跨领域挑战组织文献。分析表明，支持多种模态的能力发展速度快于在会话中维持连贯交互的能力。尽管在多模态感知、表达和行动方面的能力增强，当前系统仍在持久记忆、跨回合基础、全双工交互、稳健评估和文化对齐方面面临挑战。最后，我们提出了一个研究议程，旨在开发能够在多个回合、模态和文化中记忆、修正、基础、表达、倾听、行动和适应的系统。
🔬 方法详解
问题定义：本文旨在解决多模态对话AI在多回合交互中保持上下文和记忆的挑战。现有方法在用户交互的持续性和连贯性方面表现不足，导致对话体验受限。
核心思路：通过系统化的文献回顾，识别多模态对话AI的关键问题和挑战，提出未来研究的方向，以促进系统在多回合交互中的适应性和连贯性。
技术框架：整体架构包括数据集和基准的整理、建模范式的分类、训练策略的分析、评估设置的探讨以及跨领域挑战的识别。主要模块包括多模态感知、上下文维护和用户意图理解。
关键创新：本文的创新在于系统地整合了多模态对话AI的研究现状，提出了一个全面的研究议程，强调了持久记忆和跨回合基础的重要性，与现有方法相比，提供了更为系统的视角。
关键设计：在文献回顾中，重点关注了不同类型的对话系统的参数设置、损失函数和网络结构，特别是如何在多模态环境中实现有效的上下文管理和用户意图识别。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管多模态系统在感知和表达能力上有所提升，但在持久记忆和跨回合基础方面仍存在显著不足。当前系统在这些方面的表现未能达到预期，亟需进一步研究和改进。
🎯 应用场景
该研究的潜在应用领域包括智能客服、虚拟助手和教育技术等。通过提升对话系统在多回合交互中的表现，可以显著改善用户体验，推动人机交互的智能化和自然化。未来，这一研究方向可能会影响多模态AI系统的设计和开发，促进更为智能和人性化的交互方式。
📄 摘要（原文）
Conversational AI is moving beyond isolated text prompts toward sustained, multimodal interaction. In real conversations, users clarify goals, revise requests, interrupt responses, switch topics, and introduce new evidence while expecting systems to preserve context across turns. This makes multi-turn dialogue a distinct challenge requiring systems to maintain and update memory, ground responses across modalities, tools, and external knowledge, and adapt across languages and cultures. This study reviews multi-turn conversational AI across text-only dialogue, AudioLLMs and speech-native systems, multimodal and omni-modal systems, and tool-augmented agents. We organize the literature around datasets and benchmarks, modeling paradigms, training strategies, evaluation setups, and cross-cutting challenges. Our analysis shows that support for multiple modalities has advanced faster than the ability to sustain coherent interaction across a session. Despite stronger capabilities to perceive, speak, and act across modalities, current systems still struggle with persistent memory, cross-turn grounding, full-duplex interaction, robust evaluation, and cultural alignment. We conclude with a research agenda for systems that can remember, revise, ground, speak, listen, act, and adapt across turns, modalities, and cultures. (https://github.com/faiza-sfa/multiturn-conversational-ai-survey)