Multi-modal Preference Alignment Remedies Degradation of Visual Instruction Tuning on Language Models

📄 arXiv: 2402.10884v2 📥 PDF

作者: Shengzhi Li, Rongyu Lin, Shichao Pei

分类: cs.CL, cs.AI, cs.CV, cs.LG

发布日期: 2024-02-16 (更新: 2024-11-05)

备注: Project code, model and data: https://github.com/findalexli/mllm-dpo

期刊: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 14188-14200, 2024

DOI: 10.18653/v1/2024.acl-long.765

💡 一句话要点

提出多模态偏好对齐以解决视觉指令调优退化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 视觉问答 直接偏好优化 指令跟随 蒸馏训练

📋 核心要点

  1. 现有的多模态大型语言模型在视觉问答数据集上训练时，因数据集缺乏多样性和复杂性而导致性能退化。
  2. 本研究提出了一种轻量级的VQA偏好数据集，并采用直接偏好优化（DPO）等方法来提升模型的指令跟随能力。
  3. 实验结果表明，DPO方法在MT-Bench上取得了6.73的分数，并显著提升了视觉指令性能，且对视觉知识基准的对齐成本较低。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在支持图像和文本模态的多轮查询时，面临由于视觉问答（VQA）数据集缺乏多样性和复杂性而导致的性能退化。为了解决这一问题，研究者们收集了一个轻量级的5000样本VQA偏好数据集，并探讨了标准的监督微调、拒绝采样、直接偏好优化（DPO）和SteerLM算法。研究发现，使用DPO可以超越语言模型的指令跟随能力，在MT-Bench上获得6.73的分数，相较于Vicuna的6.57和LLaVA的5.99。此外，文本指令跟随能力的提升与视觉指令性能的增强相关，MM-Vet上提升4.9%，LLaVA-Bench上提升6%。最后，提出了一种基于蒸馏的多模态对齐模型，利用小数据集的细粒度注释，恢复并提升了MLLM在视觉指令调优后的语言能力。

🔬 方法详解

问题定义：本论文旨在解决多模态大型语言模型在视觉指令调优过程中因训练数据集的多样性不足而导致的性能退化问题。现有方法主要依赖视觉问答数据集，缺乏对复杂指令的有效处理。

核心思路：论文提出通过构建一个轻量级的VQA偏好数据集，并结合直接偏好优化（DPO）等方法，来提升模型在指令跟随任务中的表现。通过细粒度的质量指标注释，增强模型对指令的理解和执行能力。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。首先收集并标注VQA数据集，然后应用DPO等算法进行模型微调，最后通过标准基准测试评估模型性能。

关键创新：最重要的创新在于提出了一种基于蒸馏的多模态对齐模型，能够在小数据集上实现细粒度的注释，从而有效恢复和提升MLLM的语言能力。与传统的强化学习方法相比，该方法在对齐成本上具有明显优势。

关键设计：在模型训练过程中，采用了细粒度的质量指标作为损失函数，确保模型在不同质量维度上均能得到优化。此外，模型结构设计上结合了多模态信息处理模块，以增强对视觉和文本信息的融合能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用直接偏好优化（DPO）方法，模型在MT-Bench上获得了6.73的分数，超越了Vicuna的6.57和LLaVA的5.99。同时，视觉指令性能在MM-Vet上提升了4.9%，在LLaVA-Bench上提升了6%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化内容生成、教育技术等。通过提升多模态大型语言模型的指令跟随能力，可以在实际应用中实现更自然的人机交互，增强用户体验。未来，该方法也可能推动更复杂的多模态任务的研究与应用。

📄 摘要（原文）

Multi-modal large language models (MLLMs) are expected to support multi-turn queries of interchanging image and text modalities in production. However, the current MLLMs trained with visual-question-answering (VQA) datasets could suffer from degradation, as VQA datasets lack the diversity and complexity of the original text instruction datasets with which the underlying language model was trained. To address this degradation, we first collect a lightweight, 5k-sample VQA preference dataset where answers were annotated by Gemini for five quality metrics in a granular fashion and investigate standard Supervised Fine-tuning, rejection sampling, Direct Preference Optimization (DPO) and SteerLM algorithms. Our findings indicate that with DPO, we can surpass the instruction-following capabilities of the language model, achieving a 6.73 score on MT-Bench, compared to Vicuna's 6.57 and LLaVA's 5.99. This enhancement in textual instruction-following capability correlates with boosted visual instruction performance (+4.9\% on MM-Vet, +6\% on LLaVA-Bench), with minimal alignment tax on visual knowledge benchmarks compared to the previous RLHF approach. In conclusion, we propose a distillation-based multi-modal alignment model with fine-grained annotations on a small dataset that restores and boosts MLLM's language capability after visual instruction tuning.