MIKO: Multimodal Intention Knowledge Distillation from Large Language Models for Social-Media Commonsense Discovery

📄 arXiv: 2402.18169v2 📥 PDF

作者: Feihong Lu, Weiqi Wang, Yangyifei Luo, Ziqin Zhu, Qingyun Sun, Baixuan Xu, Haochen Shi, Shiqi Gao, Qian Li, Yangqiu Song, Jianxin Li

分类: cs.CL

发布日期: 2024-02-28 (更新: 2024-02-29)

备注: 11 pages, 5 figures

💡 一句话要点

提出MIKO框架以解决社交媒体意图理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 意图识别 社交媒体分析 知识蒸馏 情感分析 用户行为预测 大型语言模型 图像理解

📋 核心要点

  1. 社交媒体帖子中意图的隐含性和跨模态理解的需求使得现有方法难以有效识别用户意图。
  2. MIKO框架通过结合LLM和MLLM，分别解析图像和文本信息，最终生成用户意图。
  3. 在社交媒体数据集上构建的意图知识库包含1,372K个意图，验证结果显示生成知识的质量较高。

📝 摘要（中文）

社交媒体已成为连接他人、获取新闻、表达观点和寻找娱乐的普遍工具。然而，由于社交媒体帖子中意图的隐含性、文本与图像的跨模态理解需求，以及噪声信息的存在，理解社交媒体帖子背后的意图仍然具有挑战性。为了解决这些问题，本文提出了MIKO，一个多模态意图知识蒸馏框架，协同利用大型语言模型（LLM）和多模态大型语言模型（MLLM）来揭示用户的意图。通过在公开社交媒体数据集上应用MIKO，构建了一个包含1,372K个意图的知识库，并进行了两阶段注释以验证生成知识的质量。进一步将MIKO应用于讽刺检测数据集，蒸馏出学生模型以展示意图知识的下游效益。

🔬 方法详解

问题定义：本文旨在解决社交媒体中用户意图理解的挑战，现有方法在处理隐含意图和跨模态信息时存在不足，尤其是在噪声信息影响下的准确性问题。

核心思路：MIKO框架的核心思想是通过结合LLM和MLLM的优势，利用LLM提取文本中的关键信息，同时利用MLLM解析图像信息，从而更全面地理解用户意图。

技术框架：MIKO的整体架构包括两个主要模块：首先，MLLM对社交媒体帖子中的图像进行解析；其次，LLM从文本中提取信息，最终生成用户的意图。这一过程通过迭代的方式进行，以确保意图生成的准确性。

关键创新：MIKO的创新之处在于其多模态知识蒸馏的方式，能够有效整合图像和文本信息，克服了传统方法在处理复杂社交媒体内容时的局限性。

关键设计：在模型设计中，采用了特定的损失函数来优化意图生成的准确性，并在网络结构上进行了调整，以适应多模态输入的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MIKO在意图生成任务中表现优异，生成的意图知识库包含1,372K个意图，且在质量验证中显示出较高的准确性。此外，MIKO在讽刺检测任务中蒸馏出的学生模型在性能上优于基线模型，展示了意图知识的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括社交媒体分析、情感识别和用户行为预测等。通过更好地理解用户意图，MIKO可以帮助企业优化市场营销策略，提高用户体验，并在社交媒体内容审核中发挥重要作用。未来，MIKO可能在其他多模态数据理解任务中展现出更广泛的应用价值。

📄 摘要（原文）

Social media has become a ubiquitous tool for connecting with others, staying updated with news, expressing opinions, and finding entertainment. However, understanding the intention behind social media posts remains challenging due to the implicitness of intentions in social media posts, the need for cross-modality understanding of both text and images, and the presence of noisy information such as hashtags, misspelled words, and complicated abbreviations. To address these challenges, we present MIKO, a Multimodal Intention Kowledge DistillatiOn framework that collaboratively leverages a Large Language Model (LLM) and a Multimodal Large Language Model (MLLM) to uncover users' intentions. Specifically, we use an MLLM to interpret the image and an LLM to extract key information from the text and finally instruct the LLM again to generate intentions. By applying MIKO to publicly available social media datasets, we construct an intention knowledge base featuring 1,372K intentions rooted in 137,287 posts. We conduct a two-stage annotation to verify the quality of the generated knowledge and benchmark the performance of widely used LLMs for intention generation. We further apply MIKO to a sarcasm detection dataset and distill a student model to demonstrate the downstream benefits of applying intention knowledge.