Aligning Modalities in Vision Large Language Models via Preference Fine-tuning

📄 arXiv: 2402.11411v1 📥 PDF

作者: Yiyang Zhou, Chenhang Cui, Rafael Rafailov, Chelsea Finn, Huaxiu Yao

分类: cs.LG, cs.CL, cs.CV

发布日期: 2024-02-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出POVID以解决视觉大语言模型的幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉大语言模型 偏好微调 幻觉问题 多模态对齐 生成模型 强化学习 数据生成

📋 核心要点

  1. 现有的视觉大语言模型在图像和语言的对齐上存在不足，导致模型产生幻觉现象。
  2. 本文提出POVID，通过偏好微调生成反馈数据，解决视觉和语言模型之间的对齐问题。
  3. 实验结果显示，POVID显著减少了幻觉现象，并在多个基准测试中提升了模型性能。

📝 摘要（中文）

近年来，遵循指令的视觉大语言模型（VLLMs）在多种任务上取得了显著进展。这些方法结合了强大的预训练视觉模型和大型语言模型（LLMs）。由于这些组件是分别训练的，因此需要通过额外的图像-语言对进行联合训练来对齐学习的表示。然而，这一过程并不完美，可能导致模型产生幻觉，即提供不准确反映图像的答案。本文将幻觉问题视为对齐问题，通过偏好微调进行解决。我们提出POVID，通过AI模型生成反馈数据，使用真实指令作为优选响应，并采用两阶段方法生成不优选数据。实验表明，我们不仅减少了幻觉现象，还提高了模型在标准基准上的性能，超越了以往的方法。

🔬 方法详解

问题定义：本文要解决的问题是视觉大语言模型（VLLMs）在图像和语言对齐时产生的幻觉现象。这种幻觉导致模型输出与图像不符的答案，影响了模型的可靠性和实用性。

核心思路：论文的核心思路是将幻觉问题视为对齐问题，通过偏好微调来改善模型的输出。具体而言，利用AI模型生成反馈数据，以真实指令作为优选响应，进而提高模型的准确性。

技术框架：整体架构包括两个主要阶段：第一阶段，使用GPT-4V生成合理的幻觉数据；第二阶段，通过图像扭曲触发VLLM的幻觉行为。这些生成策略最终集成到直接偏好优化的强化学习人类反馈（RLHF）管道中。

关键创新：最重要的创新点在于提出了POVID这一自动化方法，能够在不依赖人工数据生成的情况下，生成高质量的反馈数据，从而实现可扩展性。与现有方法相比，POVID在生成数据的效率和质量上具有显著优势。

关键设计：在技术细节上，POVID采用了两阶段生成策略，第一阶段通过GPT-4V注入幻觉，第二阶段通过图像扭曲来触发幻觉行为。损失函数和网络结构的设计旨在优化模型的偏好响应，确保生成的数据能够有效减少幻觉现象。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，POVID在多个基准测试中显著减少了幻觉现象，并提升了模型性能，超越了以往的方法，具体性能提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像描述生成和多模态内容创作等。通过减少幻觉现象，POVID能够提高这些系统的可靠性和用户体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Instruction-following Vision Large Language Models (VLLMs) have achieved significant progress recently on a variety of tasks. These approaches merge strong pre-trained vision models and large language models (LLMs). Since these components are trained separately, the learned representations need to be aligned with joint training on additional image-language pairs. This procedure is not perfect and can cause the model to hallucinate - provide answers that do not accurately reflect the image, even when the core LLM is highly factual and the vision backbone has sufficiently complete representations. In this work, we frame the hallucination problem as an alignment issue, tackle it with preference tuning. Specifically, we propose POVID to generate feedback data with AI models. We use ground-truth instructions as the preferred response and a two-stage approach to generate dispreferred data. First, we prompt GPT-4V to inject plausible hallucinations into the correct answer. Second, we distort the image to trigger the inherent hallucination behavior of the VLLM. This is an automated approach, which does not rely on human data generation or require a perfect expert, which makes it easily scalable. Finally, both of these generation strategies are integrated into an RLHF pipeline via Direct Preference Optimization. In experiments across broad benchmarks, we show that we can not only reduce hallucinations, but improve model performance across standard benchmarks, outperforming prior approaches. Our data and code are available at https://github.com/YiyangZhou/POVID.