Preference Data Selection for Mitigating the Alignment Tax in Large Language Models

📄 arXiv: 2608.24192v1 📥 PDF

作者: Minsu Kim, Jianxun Lian, Xing Xie, Steven Euijong Whang

分类: cs.AI, cs.CL

发布日期: 2026-08-25

💡 一句话要点

提出BALIGN以缓解大语言模型中的对齐税问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 对齐税 偏好数据 数据选择 灾难性遗忘 风险评分 自然语言处理 模型优化

📋 核心要点

  1. 现有方法在对齐大语言模型时，常导致灾难性遗忘，影响模型的通用能力。
  2. 论文提出BALIGN，通过平衡数据选择策略，优化对齐效果并减轻灾难性遗忘。
  3. 实验结果显示，BALIGN在标准人类偏好数据集上，能够有效保持基础能力，同时实现最佳的对齐效果。

📝 摘要（中文）

对齐大语言模型与人类偏好对于实际应用至关重要，但常常会导致对齐税，进而造成预训练通用能力的灾难性遗忘。尽管以往研究主要将此问题视为优化或架构挑战，但驱动这种退化的偏好数据特征仍未得到充分探索。本文提出了BALIGN，一种平衡的数据选择策略，旨在显著减轻灾难性遗忘，同时优化对齐效果。通过对偏好优化梯度的理论和实证分析，识别出三个关键的数据中心特征，构成统一的复合风险评分，从而系统性地过滤出高风险的偏好样本。大量实验表明，BALIGN在保持基础能力的同时，显著提升了对齐效果。

🔬 方法详解

问题定义：本文解决的问题是如何在对齐大语言模型时，避免灾难性遗忘现象。现有方法往往忽视了偏好数据的特征，导致模型能力的损失。

核心思路：BALIGN的核心思路是通过识别和利用偏好数据的关键特征，来优化数据选择，从而减轻对齐过程中的风险。该方法设计旨在系统性地过滤出高风险样本，确保模型能力的保留。

技术框架：BALIGN的整体架构包括三个主要模块：偏好数据特征提取、风险评分计算和高风险样本过滤。首先提取偏好数据的特征，然后计算复合风险评分，最后根据评分过滤样本。

关键创新：BALIGN的创新点在于引入了三个数据中心特征（参考模型的对数概率边际、选择与拒绝响应的token长度差异、与通用能力语料的TF-IDF相似度），并将其整合为统一的风险评分。这一方法与传统的优化方法有本质区别。

关键设计：在参数设置上，BALIGN通过调整特征权重来优化风险评分，并使用特定的损失函数来平衡对齐效果与基础能力的保留。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，BALIGN在多个标准人类偏好数据集上表现优异，能够在保持基础能力的同时，实现最佳的对齐效果，显著提升了模型的整体性能。具体而言，BALIGN在对齐效果上达到了最优的Pareto前沿，且计算开销最小。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和推荐系统等。通过优化大语言模型的对齐过程，BALIGN能够在保持模型通用能力的同时，提升其在特定任务上的表现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Aligning large language models to human preferences is crucial for real-world deployment but frequently incurs an alignment tax, leading to the catastrophic forgetting of pre-trained general capabilities. While previous works primarily frame this problem as an optimization or architectural challenge, the inherent characteristics of preference data that drive this degradation remain largely underexplored. In this paper, we propose BALIGN, a balanced data selection strategy that explicitly mitigates catastrophic forgetting while optimizing alignment efficacy. Through theoretical and empirical analyses of the preference optimization gradient, we identify three key data-centric features that dictate parameter drift: the reference model's log-probability margin, the token length difference between chosen and rejected responses, and the TF-IDF similarity to general capability corpora. By aggregating these orthogonal features into a unified composite risk score, BALIGN systematically filters out high-risk preference samples that disrupt intrinsic model parameters or provide minimal alignment utility. Extensive experiments on standard human preference datasets demonstrate that BALIGN strongly preserves foundational capabilities without compromising alignment gains, consistently achieving the optimal Pareto frontier with minimal computational overhead.