Plug-and-Adapt: Multimodal Coreference Resolution at First Sight with a Pretrained Alignment Model
作者: Jinghan Wu, Jing Li, Ivor W. Tsang, Xuetao Zhang
分类: cs.CV, cs.AI
发布日期: 2026-06-16
💡 一句话要点
提出Plug-and-Adapt方法以解决多模态共指消解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态共指消解 视觉信息 对齐模型 证据理论 自然语言处理 计算机视觉 智能助手
📋 核心要点
- 现有多模态共指消解方法依赖于目标数据集的标注数据进行训练，限制了其直接应用和泛化能力。
- 本文提出的Plug-and-Adapt方法通过预训练的对齐模型，消除了对稀缺数据集的训练需求，提升了多模态共指消解的有效性。
- 在Coreference Image Narratives基准数据集上，实验结果显示该方法在CoNLL F1上分别提高了5.31%和2.12%。
📝 摘要（中文）
视觉信息有助于消解共指中的歧义，从而显著提升性能。然而，现有的多模态共指消解方法需要在目标数据集上进行（部分）标注数据的训练，限制了其直接应用性并引发了泛化能力的担忧。本文提出了一种Plug-and-Adapt方法，利用经过精心预训练的对齐模型，旨在消除对稀缺基准数据集的训练需求或对资源密集型视觉语言大模型的依赖。我们在Coreference Image Narratives基准数据集上的实验表明，该方法在CoNLL F1上分别比现有最优方法和流行的视觉语言大模型提高了5.31%和2.12%。
🔬 方法详解
问题定义：本文旨在解决多模态共指消解中的数据稀缺问题，现有方法需要在目标数据集上进行训练，导致其应用受限且泛化能力不足。
核心思路：提出的Plug-and-Adapt方法通过利用预训练的对齐模型，直接适应于共指消解任务，避免了对稀缺标注数据的依赖。
技术框架：整体流程包括两个主要阶段：首先，使用视觉-语言对齐数据集预训练一个细粒度的对齐模型；其次，通过相似性聚合将视觉和类别线索与证据理论融合，完成共指消解任务。
关键创新：最重要的创新在于通过对齐模型的再利用，显著提高了多模态共指消解的效率和效果，区别于传统方法对数据的高依赖性。
关键设计：在模型设计中，采用了特定的损失函数以优化对齐效果，并通过证据理论增强了视觉和文本信息的融合效果。具体的网络结构和参数设置在实验中进行了详细调优。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Plug-and-Adapt方法在Coreference Image Narratives基准数据集上取得了显著的性能提升，CoNLL F1指标分别比现有最优方法提高了5.31%，比流行的视觉语言大模型提高了2.12%。这些结果验证了该方法的有效性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等。通过提升多模态共指消解的能力，该方法可以在智能助手、自动摘要生成和图像描述等实际场景中发挥重要作用，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Visual information helps resolve ambiguity in coreference resolution, leading to notable performance gains. However, existing Multi-modal Coreference Resolution (MCR) methods require training with (partially) annotated data from the target dataset before they can be applied, preventing their direct usability and raising concerns about generalization. While Vision-Language Large Models (VLLMs) with billions of parameters offer promising zero-shot capabilities, they remain largely inaccessible. Their massive size limits deployability, and many are only accessible through paid APIs. In this paper, we propose a plug-and-adapt method that strategically adapts a carefully pre-trained \emph{alignment model} for immediate use in MCR tasks, designed to eliminate the need for training on scarce benchmark datasets or relying on resource-intensive VLLMs. Specifically, we first pre-train a fine-grained alignment model between textual and visual contextual information using vision-language alignment datasets. We then repurpose the alignment model to MCR through similarity aggregation by fusing visual and categorical cues with evidence theory, thereby enhancing effectiveness. Experiments on the Coreference Image Narratives (CIN) benchmark dataset demonstrate the effectiveness of our method, achieving a 5.31\% and 2.12\% improvement in CoNLL F1 over SOTA dedicated methods and popular VLLMs, respectively. We further evaluate our method on a masked CIN dataset for robustness testing and on a specially constructed VCR-MCR dataset for generalization assessment, with results confirming both capabilities.