DeAL: Decoding-time Alignment for Large Language Models

📄 arXiv: 2402.06147v3 📥 PDF

作者: James Y. Huang, Sailik Sengupta, Daniele Bonadiman, Yi-An Lai, Arshit Gupta, Nikolaos Pappas, Saab Mansour, Katrin Kirchhoff, Dan Roth

分类: cs.AI, cs.CL

发布日期: 2024-02-05 (更新: 2025-10-12)

备注: ACL 2025

DOI: 10.18653/v1/2025.acl-long.1274

💡 一句话要点

提出DeAL框架以解决大语言模型对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 对齐技术 用户自定义奖励 解码过程 启发式搜索 内容生成 人类反馈 强化学习

📋 核心要点

  1. 现有方法在对齐目标的教导上存在局限性，无法有效整合多种奖励，且依赖于开发者的静态视角。
  2. 本文提出DeAL框架，允许用户自定义奖励函数，并将解码视为启发式引导的搜索过程，以实现多样化的对齐目标。
  3. 实验结果显示，DeAL在满足关键词和长度等程序约束以及无害性和有用性等抽象目标方面，显著改善了对齐效果。

📝 摘要（中文）

大语言模型（LLMs）如今被期望生成符合人类偏好的内容。现有研究主要集中在模型训练时的对齐，通过人类反馈的强化学习（RLHF）等技术。然而，这些方法在教导模型对齐目标时的有效性尚不明确，存在无法整合多种自定义奖励和依赖开发者的静态原则等关键限制。此外，这些方法的可靠性也受到质疑，例如在安全训练后仍然容易被破解。为了解决这些问题，本文提出了DeAL框架，允许用户自定义奖励函数，并实现大语言模型的解码时对齐。我们的实验表明，DeAL能够在细粒度权衡中改善对齐目标的遵循，并且与现有对齐策略如RLHF和提示技术相辅相成，能够有效提升对齐效果。

🔬 方法详解

问题定义：本文旨在解决大语言模型在生成内容时与人类偏好对齐的不足，现有方法如RLHF存在无法整合多种奖励和可靠性不足的问题。

核心思路：DeAL框架的核心思想是允许用户自定义奖励函数，并将解码过程视为启发式搜索，从而实现灵活的对齐目标。这样的设计使得模型能够在生成内容时更好地遵循用户的具体需求。

技术框架：DeAL的整体架构包括用户自定义奖励函数模块、解码过程的启发式搜索模块，以及对齐目标的评估模块。用户可以在解码时动态调整奖励，以实现更好的对齐效果。

关键创新：DeAL的主要创新在于其允许用户在解码时灵活调整奖励函数，这与传统的训练时对齐方法形成鲜明对比，提供了更高的适应性和可定制性。

关键设计：在DeAL中，关键参数包括用户自定义的奖励函数、解码策略的选择，以及对齐目标的定义。通过这些设计，DeAL能够在多种约束条件下进行有效的内容生成。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，DeAL在满足特定约束条件下的对齐效果显著优于传统方法，尤其在关键词和长度约束下，能够实现更高的对齐度，提升幅度达到20%以上。此外，DeAL与RLHF和提示技术结合时，进一步增强了对齐效果。

🎯 应用场景

DeAL框架的潜在应用领域包括智能助手、内容生成和教育工具等。通过允许用户自定义对齐目标，DeAL能够更好地满足特定应用场景下的需求，提升用户体验。未来，DeAL可能在个性化内容生成和人机交互中发挥重要作用。

📄 摘要（原文）

Large Language Models (LLMs) are nowadays expected to generate content aligned with human preferences. Current work focuses on alignment at model training time, through techniques such as Reinforcement Learning with Human Feedback (RLHF). However, it is unclear if such methods are an effective choice to teach alignment objectives to the model. First, the inability to incorporate multiple, custom rewards and reliance on a model developer's view of universal and static principles are key limitations. Second, the reliability of such approaches is also questionable (e.g. susceptibility to jailbreaking even after safety training). To address these issues, we propose DeAL, a framework that allows the user to customize reward functions and enables Decoding-time Alignment of LLMs (DeAL). At its core, we view decoding as a heuristic-guided search process and facilitate the use of a wide variety of alignment objectives. Our experiments with programmatic constraints such as keyword and length constraints, and abstract objectives such as harmlessness and helpfulness, show that we can DeAL with fine-grained trade-offs and improve adherence to alignment objectives. Lastly, we demonstrate that DeAL is largely complementary to existing alignment strategies, and can be effectively paired with RLHF and prompting techniques to achieve better alignment.