GRATH: Gradual Self-Truthifying for Large Language Models
作者: Weixin Chen, Dawn Song, Bo Li
分类: cs.CL, cs.AI
发布日期: 2024-01-22 (更新: 2024-01-31)
💡 一句话要点
提出GRATH以解决大型语言模型的真实性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 真实性 直接偏好优化 自我监督学习 训练数据生成 内容生成 机器学习
📋 核心要点
- 现有的大型语言模型在生成真实内容方面表现不佳，尤其是在TruthfulQA等基准测试中，真实性问题亟待解决。
- 本文提出GRATH方法，通过利用域外问题提示生成成对的训练数据，并通过直接偏好优化来提升模型的真实性。
- 实验结果表明，GRATH在多个7B-LLMs上显著提升了真实性，且在TruthfulQA上达到了54.71%的MC1准确率和69.10%的MC2准确率。
📝 摘要（中文）
真实性对大型语言模型（LLMs）至关重要，尤其是在其日益广泛的实际应用中。然而，现有的LLMs在生成真实内容方面仍然存在困难，尤其是在TruthfulQA等基准测试中的表现不佳。为了解决这一问题，本文提出了一种新颖的后处理方法GRADUAL自我真实性化（GRATH），该方法利用域外问题提示生成成对的真实性训练数据，并通过直接偏好优化（DPO）来优化模型，学习答案对之间的真实性差异。GRATH以自我监督的方式逐步改进模型的真实性。实验证明，GRATH在不同的7B-LLMs上有效提升了模型的真实性，并在TruthfulQA上取得了54.71%的MC1准确率和69.10%的MC2准确率，甚至超越了70B-LLMs的表现。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在生成真实内容时的不足，尤其是在真实内容生成的基准测试中表现不佳的问题。现有方法未能有效提升模型的真实性，导致生成内容的可信度低。
核心思路：GRATH的核心思路是通过生成成对的训练数据来优化模型的真实性，利用域外问题提示生成包含正确和错误答案的问题对，从而使模型能够学习答案之间的真实性差异。
技术框架：GRATH的整体架构包括数据生成、模型优化和迭代更新三个主要模块。首先，通过域外问题提示生成训练数据；然后，利用直接偏好优化（DPO）对模型进行训练；最后，迭代更新数据和模型，以实现逐步改进。
关键创新：GRATH的主要创新在于其自我监督的训练方式，通过生成成对的训练数据来引导模型学习真实性差异，这一方法与传统的单一答案训练方式有本质区别。
关键设计：在参数设置上，GRATH采用了直接偏好优化的损失函数，并设计了适合于生成对比数据的网络结构，以确保模型能够有效学习到答案之间的真实性差异。具体的网络结构和超参数设置在实验中经过多次调优，以达到最佳效果。
🖼️ 关键图片
📊 实验亮点
GRATH在TruthfulQA基准测试中取得了54.71%的MC1准确率和69.10%的MC2准确率，显著超越了70B-LLMs的表现，展示了其在提升大型语言模型真实性方面的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、对话生成、内容审核等，能够显著提升大型语言模型在实际应用中的真实性和可信度。随着技术的进步，GRATH方法可能会在更多领域得到推广，推动AI生成内容的可靠性和安全性。
📄 摘要（原文）
Truthfulness is paramount for large language models (LLMs) as they are increasingly deployed in real-world applications. However, existing LLMs still struggle with generating truthful content, as evidenced by their modest performance on benchmarks like TruthfulQA. To address this issue, we propose GRAdual self-truTHifying (GRATH), a novel post-processing method to enhance truthfulness of LLMs. GRATH utilizes out-of-domain question prompts to generate pairwise truthfulness training data with each pair containing a question and its correct and incorrect answers, and then optimizes the model via direct preference optimization (DPO) to learn from the truthfulness difference between answer pairs. GRATH iteratively refines truthfulness data and updates the model, leading to a gradual improvement in model truthfulness in a self-supervised manner. Empirically, we evaluate GRATH using different 7B-LLMs and compare with LLMs with similar or even larger sizes on benchmark datasets. Our results show that GRATH effectively improves LLMs' truthfulness without compromising other core capabilities. Notably, GRATH achieves state-of-the-art performance on TruthfulQA, with MC1 accuracy of 54.71% and MC2 accuracy of 69.10%, which even surpass those on 70B-LLMs.