Polos: Multimodal Metric Learning from Human Feedback for Image Captioning

📄 arXiv: 2402.18091v1 📥 PDF

作者: Yuiga Wada, Kanta Kaneda, Daichi Saito, Komei Sugiura

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-02-28

备注: CVPR 2024

💡 一句话要点

提出Polos以解决图像描述模型评估中的人类反馈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像描述 自动评估 多模态学习 人类反馈 对比学习 数据集构建 性能评估

📋 核心要点

  1. 现有的自动评估指标在处理幻觉和泛化能力上存在不足，无法有效支持图像描述模型的评估。
  2. 本文提出Polos，通过多模态输入和大规模对比学习的特征提取机制，构建了一种新的自动评估指标。
  3. 在多个数据集上，Polos达到了最先进的性能，展示了其在图像描述评估中的有效性和鲁棒性。

📝 摘要（中文）

建立一个与人类判断紧密相关的自动评估指标对于有效开发图像描述模型至关重要。尽管近期的数据驱动指标在与人类判断的相关性上优于经典指标如CIDEr，但它们在处理幻觉和跨多样图像及文本的泛化能力上仍显不足。本文提出了Polos，一个基于多模态输入的监督自动评估指标，利用大规模对比学习训练的嵌入进行特征提取。我们引入了基于人类反馈的多模态度量学习框架（M$^2$LHF），并构建了包含131K人类判断的Polaris数据集，规模是标准数据集的十倍。我们的方案在多个数据集上实现了最先进的性能，展示了其有效性和鲁棒性。

🔬 方法详解

问题定义：本文旨在解决现有图像描述模型评估指标在处理幻觉和泛化能力不足的问题。传统的指标如CIDEr无法有效反映人类的判断，导致评估结果不准确。

核心思路：Polos通过多模态输入和大规模对比学习训练的嵌入，提供了一种新的评估机制，能够更好地捕捉人类的反馈。该设计旨在提高评估指标与人类判断的一致性。

技术框架：Polos的整体架构包括特征提取模块和评分计算模块。特征提取模块利用对比学习生成多模态嵌入，评分模块则基于这些嵌入计算最终的评估分数。

关键创新：最重要的创新在于引入了基于人类反馈的多模态度量学习框架（M$^2$LHF），并构建了大规模的Polaris数据集，使得评估指标能够更好地反映人类的判断标准。

关键设计：在模型设计中，采用了特定的损失函数来优化多模态嵌入的学习，并通过大规模数据集的训练，确保模型的泛化能力和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上，Polos实现了最先进的性能，包括Composite、Flickr8K-Expert、Flickr8K-CF、PASCAL-50S、FOIL和Polaris数据集，展示了其在评估准确性和鲁棒性方面的显著提升，具体性能数据未提供。

🎯 应用场景

该研究的潜在应用领域包括图像描述生成、自动内容审核和人机交互等。通过提供更准确的评估指标，Polos可以帮助研究人员和开发者更有效地优化图像描述模型，提升其在实际应用中的表现和用户体验。

📄 摘要（原文）

Establishing an automatic evaluation metric that closely aligns with human judgments is essential for effectively developing image captioning models. Recent data-driven metrics have demonstrated a stronger correlation with human judgments than classic metrics such as CIDEr; however they lack sufficient capabilities to handle hallucinations and generalize across diverse images and texts partially because they compute scalar similarities merely using embeddings learned from tasks unrelated to image captioning evaluation. In this study, we propose Polos, a supervised automatic evaluation metric for image captioning models. Polos computes scores from multimodal inputs, using a parallel feature extraction mechanism that leverages embeddings trained through large-scale contrastive learning. To train Polos, we introduce Multimodal Metric Learning from Human Feedback (M$^2$LHF), a framework for developing metrics based on human feedback. We constructed the Polaris dataset, which comprises 131K human judgments from 550 evaluators, which is approximately ten times larger than standard datasets. Our approach achieved state-of-the-art performance on Composite, Flickr8K-Expert, Flickr8K-CF, PASCAL-50S, FOIL, and the Polaris dataset, thereby demonstrating its effectiveness and robustness.