LLMs as Bridges: Reformulating Grounded Multimodal Named Entity Recognition

📄 arXiv: 2402.09989v4 📥 PDF

作者: Jinyuan Li, Han Li, Di Sun, Jiahao Wang, Wenkun Zhang, Zan Wang, Gang Pan

分类: cs.CV, cs.CL

发布日期: 2024-02-15 (更新: 2024-05-29)

备注: Accepted to Findings of ACL 2024

💡 一句话要点

提出RiVEG框架以解决GMNER任务中的多模态实体识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态命名实体识别 大语言模型 视觉蕴涵 视觉定位 实体扩展表达 社交媒体分析 信息检索

📋 核心要点

  1. 现有GMNER方法在社交媒体中面临图文对弱相关性和命名实体无法定位的挑战。
  2. RiVEG框架通过将GMNER重新构建为联合的MNER-VE-VG任务，利用大语言模型连接不同模块。
  3. RiVEG在多个子任务上超越了最先进的方法，显示出显著的性能提升。

📝 摘要（中文）

基于大语言模型的多模态命名实体识别（GMNER）是一项新兴任务，旨在识别命名实体、实体类型及其对应的视觉区域。GMNER面临两个挑战：社交媒体中图文对的弱相关性导致大量命名实体无法定位，以及粗粒度指称表达与细粒度命名实体之间的区别。本文提出RiVEG框架，将GMNER重新构建为联合的MNER-VE-VG任务，利用大语言模型作为连接桥梁。该方法不仅保持了最佳的MNER性能，还消除了对对象检测方法的依赖，解决了现有GMNER方法的主要局限性。实验结果表明，RiVEG在现有GMNER数据集上超越了最先进的方法，三项子任务的绝对提升分别为10.65%、6.21%和8.83%。

🔬 方法详解

问题定义：本文旨在解决多模态命名实体识别（GMNER）任务中的命名实体定位问题，现有方法在社交媒体图文对中存在弱相关性，导致大量命名实体无法被有效识别。

核心思路：提出RiVEG框架，通过将GMNER任务重新构建为联合的MNER-VE-VG任务，利用大语言模型作为桥梁，连接不同的任务模块，从而提高识别效果。

技术框架：RiVEG框架包含多个主要模块，包括命名实体识别（MNER）、视觉蕴涵（VE）和视觉定位（VG）。这些模块通过大语言模型进行有效连接，形成一个统一的处理流程。

关键创新：RiVEG的核心创新在于引入了实体扩展表达和视觉蕴涵模块，统一了视觉定位和实体定位的能力，能够继承现有多模态预训练模型的优势。

关键设计：在模型设计中，RiVEG采用了特定的损失函数和参数设置，以优化多模态信息的融合，确保在处理复杂图文对时的高效性和准确性。通过消除对对象检测的依赖，RiVEG实现了更为简洁的处理流程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RiVEG在现有GMNER数据集上的实验结果显示，模型在三项子任务上分别取得了10.65%、6.21%和8.83%的绝对性能提升，超越了当前最先进的方法，证明了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容分析、智能搜索引擎、自动化内容标注等。通过提高多模态命名实体识别的准确性，RiVEG能够为信息检索和用户体验优化提供重要支持，未来可能在多模态理解和人机交互等领域产生深远影响。

📄 摘要（原文）

Grounded Multimodal Named Entity Recognition (GMNER) is a nascent multimodal task that aims to identify named entities, entity types and their corresponding visual regions. GMNER task exhibits two challenging properties: 1) The weak correlation between image-text pairs in social media results in a significant portion of named entities being ungroundable. 2) There exists a distinction between coarse-grained referring expressions commonly used in similar tasks (e.g., phrase localization, referring expression comprehension) and fine-grained named entities. In this paper, we propose RiVEG, a unified framework that reformulates GMNER into a joint MNER-VE-VG task by leveraging large language models (LLMs) as a connecting bridge. This reformulation brings two benefits: 1) It maintains the optimal MNER performance and eliminates the need for employing object detection methods to pre-extract regional features, thereby naturally addressing two major limitations of existing GMNER methods. 2) The introduction of entity expansion expression and Visual Entailment (VE) module unifies Visual Grounding (VG) and Entity Grounding (EG). It enables RiVEG to effortlessly inherit the Visual Entailment and Visual Grounding capabilities of any current or prospective multimodal pretraining models. Extensive experiments demonstrate that RiVEG outperforms state-of-the-art methods on the existing GMNER dataset and achieves absolute leads of 10.65%, 6.21%, and 8.83% in all three subtasks.