Asking Multimodal Clarifying Questions in Mixed-Initiative Conversational Search
作者: Yifei Yuan, Clemencia Siro, Mohammad Aliannejadi, Maarten de Rijke, Wai Lam
分类: cs.CL, cs.CV
发布日期: 2024-02-12
备注: Accepted to WWW24
💡 一句话要点
提出多模态澄清问题以改善混合主动对话搜索
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 对话系统 信息检索 用户意图识别 机器学习
📋 核心要点
- 现有的混合主动对话搜索系统在用户表达意图时常面临澄清问题，导致查询模糊和信息需求不明确。
- 本文提出在澄清问题中引入图像信息，构建多模态澄清问题的任务，以提高用户意图的识别和查询的准确性。
- 实验结果显示，使用图像信息后，相关图像的检索性能提升显著，Marto模型在效果和效率上优于传统的判别基线。
📝 摘要（中文）
在混合主动对话搜索系统中，澄清问题用于帮助用户更清晰地表达意图。本文假设在多模态信息相关的场景中，使用非文本信息可以改善澄清过程。为此，作者提出在澄清问题中添加图像，并定义了在开放域混合主动对话搜索系统中提出多模态澄清问题的新任务。为支持该研究，收集了一个名为Melon的数据集，包含超过4000个多模态澄清问题和超过14000张图像。此外，提出了名为Marto的多模态查询澄清模型，并采用基于提示的生成微调策略进行训练。实验结果表明，添加图像显著提升了检索性能，最高可达90%的提升。
🔬 方法详解
问题定义：本文旨在解决混合主动对话搜索系统中用户意图表达不清晰的问题，现有方法在处理模糊查询时效果有限，无法充分挖掘用户的信息需求。
核心思路：通过在澄清问题中引入图像，利用多模态信息来增强用户意图的识别，提升查询澄清的准确性和有效性。
技术框架：整体架构包括数据集构建、模型设计和训练流程。首先收集包含多模态澄清问题和图像的数据集Melon，然后设计Marto模型，采用基于提示的生成微调策略进行训练。
关键创新：最重要的创新在于将图像信息整合到澄清问题中，形成多模态澄清问题的任务，这一方法在本质上区别于传统的文本-only澄清方式。
关键设计：在模型设计中，采用了特定的损失函数来优化多模态输入的融合效果，并通过不同阶段的提示策略进行训练，以提高模型的适应性和性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Marto模型在引入图像信息后，相关图像的检索性能提升高达90%。与传统的判别基线相比，Marto在效果和效率上均表现出显著的优势，验证了多模态信息在查询澄清中的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能搜索引擎、虚拟助手和客户服务系统等，能够帮助用户更高效地获取信息，提升用户体验。未来，该方法可能在多模态交互和人机对话系统中发挥重要作用，推动相关技术的发展。
📄 摘要（原文）
In mixed-initiative conversational search systems, clarifying questions are used to help users who struggle to express their intentions in a single query. These questions aim to uncover user's information needs and resolve query ambiguities. We hypothesize that in scenarios where multimodal information is pertinent, the clarification process can be improved by using non-textual information. Therefore, we propose to add images to clarifying questions and formulate the novel task of asking multimodal clarifying questions in open-domain, mixed-initiative conversational search systems. To facilitate research into this task, we collect a dataset named Melon that contains over 4k multimodal clarifying questions, enriched with over 14k images. We also propose a multimodal query clarification model named Marto and adopt a prompt-based, generative fine-tuning strategy to perform the training of different stages with different prompts. Several analyses are conducted to understand the importance of multimodal contents during the query clarification phase. Experimental results indicate that the addition of images leads to significant improvements of up to 90% in retrieval performance when selecting the relevant images. Extensive analyses are also performed to show the superiority of Marto compared with discriminative baselines in terms of effectiveness and efficiency.