Beyond Hallucinations: Enhancing LVLMs through Hallucination-Aware Direct Preference Optimization

📄 arXiv: 2311.16839v2 📥 PDF

作者: Zhiyuan Zhao, Bin Wang, Linke Ouyang, Xiaoyi Dong, Jiaqi Wang, Conghui He

分类: cs.CV, cs.CL

发布日期: 2023-11-28 (更新: 2024-02-06)

备注: Project Website: https://opendatalab.github.io/HA-DPO, Code: https://github.com/opendatalab/HA-DPO

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出HA-DPO以解决多模态大语言模型的幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 幻觉问题 偏好学习 模型优化 图像描述生成

📋 核心要点

  1. 现有多模态大语言模型在生成文本时常出现幻觉问题，导致描述不准确或虚构内容，影响模型的可靠性。
  2. 本文提出的HA-DPO方法通过将幻觉问题视为偏好选择任务，训练模型在准确与幻觉响应中选择非幻觉响应。
  3. 实验结果表明，HA-DPO显著提升了MiniGPT-4模型的性能，POPE准确率从51.13%提升至86.13%，MME分数从932.00提升至1326.46。

📝 摘要（中文）

多模态大语言模型在近年来取得了显著进展，但仍面临“幻觉问题”，即模型生成的文本描述不准确或完全虚构与图像相关的内容。本文提出了一种新颖的解决方案——幻觉感知直接偏好优化（HA-DPO），将幻觉问题重新定义为偏好选择任务。该模型在面对同一图像的两个响应（一个准确，一个幻觉）时，训练其偏向非幻觉响应。此外，本文还提出了一种高效的管道，用于构建正样本（非幻觉）和负样本（幻觉）对，确保高质量、一致风格的数据集以实现稳健的偏好学习。HA-DPO在三种主流多模态模型上的应用显著减少了幻觉问题，并增强了模型的泛化能力。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型中的幻觉问题，即模型生成与输入图像不一致或虚构的文本描述。现有方法在处理这一问题时缺乏有效的偏好学习机制，导致模型输出的文本质量不高。

核心思路：HA-DPO的核心思想是将幻觉问题重新定义为偏好选择任务，通过训练模型在面对准确与幻觉响应时选择非幻觉响应，从而提高生成文本的准确性和一致性。

技术框架：HA-DPO的整体架构包括样本对构建、偏好学习和模型优化三个主要模块。首先，通过高效的管道构建正负样本对，然后利用这些样本对进行偏好学习，最后优化模型以增强其生成能力。

关键创新：HA-DPO的主要创新在于将幻觉问题转化为偏好选择任务，这一方法与传统的直接生成方法本质上不同，能够更有效地引导模型学习非幻觉响应。

关键设计：在技术细节上，HA-DPO采用了特定的损失函数来衡量模型对非幻觉响应的偏好，同时在样本对构建过程中确保样本的高质量和风格一致性，以支持稳健的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HA-DPO在实验中显著提升了MiniGPT-4模型的性能，POPE准确率从51.13%提升至86.13%，绝对提升幅度为35%；MME分数从932.00提升至1326.46，提升幅度为42.32%。这些结果表明HA-DPO在减少幻觉问题和增强模型泛化能力方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像描述生成、视觉问答系统和多模态内容创作等。通过减少幻觉问题，HA-DPO能够提升多模态大语言模型在实际应用中的可靠性和用户体验，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Multimodal large language models have made significant advancements in recent years, yet they still suffer from a common issue known as the "hallucination problem", in which the models generate textual descriptions that inaccurately depict or entirely fabricate content from associated images. This paper introduces a novel solution, Hallucination-Aware Direct Preference Optimization (HA-DPO), which reframes the hallucination problem as a preference selection task. The model is trained to favor the non-hallucinating response when presented with two responses of the same image (one accurate and one hallucinatory). Furthermore, this paper proposes an efficient pipeline for constructing positive~(non-hallucinatory) and negative~(hallucinatory) sample pairs, ensuring a high-quality, style-consistent dataset for robust preference learning. When applied to three mainstream multimodal models, HA-DPO significantly reduced hallucination issues and amplified the models' generalization capabilities. Notably, the MiniGPT-4 model, when enhanced with HA-DPO, demonstrated a substantial improvement: POPE accuracy rose from 51.13% to 86.13% (an absolute improvement of 35%), and the MME score surged from 932.00 to 1326.46 (a relative improvement of 42.32%). The codes, models, and datasets are made accessible at https://opendatalab.github.io/HA-DPO.