Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters

📄 arXiv: 2403.02677v1 📥 PDF

作者: Weizhi Wang, Khalil Mrini, Linjie Yang, Sateesh Kumar, Yu Tian, Xifeng Yan, Heng Wang

分类: cs.CV, cs.CL

发布日期: 2024-03-05

备注: Project Website: https://mlm-filter.github.io

💡 一句话要点

提出基于微调多模态语言模型的高质量图文数据过滤方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态语言模型 图文数据过滤 数据质量评估 深度学习 机器学习

📋 核心要点

  1. 现有的图文数据过滤方法（如CLIPScore）在精度和全面性上存在不足，难以满足高质量数据构建的需求。
  2. 本文提出了一种基于微调多模态语言模型的过滤框架，设计了四个互补指标来全面评估图文数据质量。
  3. 实验结果表明，所提方法在CLIP和BLIP2等基础模型上显著提升了过滤数据的质量和下游任务的性能。

📝 摘要（中文）

本文提出了一种新颖的框架，通过微调的多模态语言模型（MLMs）来过滤图文数据。该方法在性能上超越了现有的主流过滤方法（如CLIPScore），并结合了MLMs的最新进展。我们设计了四个互补的指标来全面评估图文数据的质量，并建立了一个新的流程来构建高质量的指令数据以微调MLMs作为数据过滤器。与CLIPScore相比，我们的MLM过滤器生成的评分更为精准和全面，直接提升了过滤数据的质量，并增强了预训练模型的性能。我们在流行的基础模型（如CLIP和BLIP2）及各种下游任务上取得了显著的改进。我们的MLM过滤器能够推广到不同的模型和任务，并可作为CLIPScore的替代品。还提供了消融研究以验证我们对MLM过滤器设计选择的合理性。

🔬 方法详解

问题定义：本文旨在解决现有图文数据过滤方法（如CLIPScore）在精度和全面性上的不足，导致过滤后的数据质量不高，影响下游模型的性能。

核心思路：通过微调多模态语言模型（MLMs），结合最新的技术进展，设计出四个互补的指标来全面评估图文数据的质量，从而提高过滤效果。

技术框架：整体框架包括数据收集、质量评估指标设计、MLM微调和过滤结果输出四个主要模块。首先收集图文数据，然后利用设计的指标评估其质量，接着微调MLMs，最后输出过滤后的高质量数据。

关键创新：最重要的创新在于利用微调的MLMs作为数据过滤器，生成的评分相比于CLIPScore更为精准和全面，能够有效提升过滤数据的质量。

关键设计：在设计过程中，采用了多种损失函数和网络结构，以确保模型能够有效学习图文数据的特征，同时优化了参数设置以提升模型的泛化能力。实验中还进行了消融研究，以验证设计选择的合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提MLM过滤器在CLIP和BLIP2等基础模型上相比于CLIPScore取得了显著提升，具体表现为过滤数据质量的提高和下游任务性能的增强，提升幅度达到XX%（具体数据未知）。

🎯 应用场景

该研究的潜在应用领域包括图像检索、内容生成和多模态学习等。通过提供高质量的图文数据过滤，能够显著提升下游任务的性能，具有重要的实际价值和广泛的应用前景，未来可能推动多模态AI系统的发展。

📄 摘要（原文）

We propose a novel framework for filtering image-text data by leveraging fine-tuned Multimodal Language Models (MLMs). Our approach outperforms predominant filtering methods (e.g., CLIPScore) via integrating the recent advances in MLMs. We design four distinct yet complementary metrics to holistically measure the quality of image-text data. A new pipeline is established to construct high-quality instruction data for fine-tuning MLMs as data filters. Comparing with CLIPScore, our MLM filters produce more precise and comprehensive scores that directly improve the quality of filtered data and boost the performance of pre-trained models. We achieve significant improvements over CLIPScore on popular foundation models (i.e., CLIP and BLIP2) and various downstream tasks. Our MLM filter can generalize to different models and tasks, and be used as a drop-in replacement for CLIPScore. An additional ablation study is provided to verify our design choices for the MLM filter.