Enhancing Small LLM Alignment through Margin-Based Objective Modifications under Resource Constraints

📄 arXiv: 2508.08466v1 📥 PDF

作者: Daren Yao, Jinsong Yuan, Ruike Chen

分类: cs.CL

发布日期: 2025-08-11

备注: 10 pages, 3 figures

💡 一句话要点

提出轻量级DPO变体以提升小型LLM对齐能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 对齐能力 边际目标 困难样本挖掘 选择性更新机制 自然语言处理 DPO变体

📋 核心要点

  1. 小型LLM在对齐人类偏好时存在显著性能差距，现有方法难以有效解决这一问题。
  2. 本文提出自适应边际-sigmoid损失和APO-hinge-zero两种轻量级变体，旨在通过边际目标和选择性更新机制改善模型性能。
  3. 实验结果显示，APO-hinge-zero在AlpacaEval中胜率提升2.0个百分点，在MT-Bench中各类任务表现竞争力，尤其在STEM和人文学科任务中表现突出。

📝 摘要（中文）

小型大型语言模型（LLMs）在输出与人类偏好对齐时常面临困难，尤其在性能差距较大的情况下。本文提出了两种轻量级的基于DPO的变体——自适应边际- sigmoid损失和APO-hinge-zero，旨在通过引入基于边际的目标和选择性更新机制来改善低性能场景。APO-hinge-zero方法结合了基于铰链的困难样本挖掘与APO-zero的聚焦优化，在AlpacaEval中相较于APO-zero基线提升了2.0个百分点的胜率和1.4个百分点的长度控制胜率。在MT-Bench中，我们的方法在多种类别中保持了竞争力，尤其在STEM和人文学科任务中表现优异。这些结果表明，简单的偏好目标修改可以显著增强小型LLM在资源限制下的对齐能力，为更高效的部署提供了实际路径。

🔬 方法详解

问题定义：本文旨在解决小型LLM在对齐人类偏好时的性能不足，现有方法在资源限制下难以有效提升模型输出质量。

核心思路：通过引入边际目标和选择性更新机制，提出两种轻量级的DPO变体，以改善模型在低性能场景下的表现。

技术框架：整体架构包括自适应边际-sigmoid损失和APO-hinge-zero，前者通过动态调整边际来优化损失，后者结合困难样本挖掘与聚焦优化。

关键创新：APO-hinge-zero方法的创新在于结合了铰链损失与选择性优化，显著提升了模型在特定任务中的表现，与传统方法相比，能够更有效地处理困难样本。

关键设计：在损失函数设计上，采用了边际调整机制，关键参数设置为动态更新，以适应不同的训练阶段和样本特性。

📊 实验亮点

实验结果显示，APO-hinge-zero在AlpacaEval中相较于APO-zero基线提升了2.0个百分点的胜率和1.4个百分点的长度控制胜率。在MT-Bench中，该方法在多种任务中保持了竞争力，尤其在STEM和人文学科任务中表现优异，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、科研和商业智能等，能够帮助小型LLM在资源受限的环境中更好地满足用户需求。通过提升模型对齐能力，未来可以实现更高效的自然语言处理应用，推动智能助手、自动问答系统等技术的发展。

📄 摘要（原文）

Small large language models (LLMs) often face difficulties in aligning output to human preferences, particularly when operating under severe performance gaps. In this work, we propose two lightweight DPO-based variants -- Adaptive Margin-Sigmoid Loss and APO-hinge-zero -- to better address underperformance scenarios by introducing margin-based objectives and selective update mechanisms. Our APO-hinge-zero method, which combines hinge-induced hard-example mining with the chosen-focused optimization of APO-zero, achieves strong results. In AlpacaEval, APO-hinge-zero improves the win rate by +2.0 points and the length-controlled win rate by +1.4 points compared to the APO-zero baseline. In MT-Bench, our methods maintain competitive performance in diverse categories, particularly excelling in STEM and Humanities tasks. These results demonstrate that simple modifications to preference-based objectives can significantly enhance small LLM alignment under resource constraints, offering a practical path toward more efficient deployment.