PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models

📄 arXiv: 2606.25442v1 📥 PDF

作者: Chang Wu, Junfeng Fang, Houcheng Jiang, Kai Tang, Pengyu Cheng, Xiaoxi Jiang, Guanjun Jiang, Xiang Wang

分类: cs.CL

发布日期: 2026-06-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出PolicyAlign以解决大语言模型安全对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 安全对齐 自我蒸馏 政策敏感过滤 机器学习

📋 核心要点

  1. 现有的安全对齐方法依赖于高质量的监督数据，难以适应快速变化的安全政策。
  2. PolicyAlign通过合成违反政策的指令并进行自我蒸馏，直接对齐LLMs与安全政策。
  3. 实验结果显示，PolicyAlign在多个模型上提高了安全性，同时保持了低拒绝率和一般能力的保留。

📝 摘要（中文）

大语言模型（LLMs）的安全对齐通常依赖于高质量的监督数据，如安全示范或偏好对。然而，在实际部署中，安全需求往往以自然语言政策的形式出现，而相应的监督数据可能成本高、延迟或不可用。这导致快速发展的安全政策与传统数据驱动对齐方法之间存在不匹配。为此，本文提出了PolicyAlign，一个简单而有效的框架，直接将LLMs与安全政策对齐。PolicyAlign首先合成违反政策的指令，然后通过在政策上的自我蒸馏来内化政策指导的行为。为了提高训练的稳定性和数据效率，进一步引入了政策敏感过滤，选择政策引起最大行为变化的指令。实验表明，PolicyAlign在提高安全性的同时，保持了低拒绝率和一般能力的保留。

🔬 方法详解

问题定义：本文旨在解决大语言模型在面对快速变化的安全政策时，传统数据驱动对齐方法的不足，尤其是缺乏高质量监督数据的问题。

核心思路：PolicyAlign的核心思路是直接将LLMs与安全政策对齐，通过合成违反政策的指令并进行自我蒸馏，使模型内化政策指导的行为。

技术框架：PolicyAlign的整体架构包括两个主要模块：首先是合成违反政策的指令，其次是进行政策导向的自我蒸馏。此外，引入政策敏感过滤以提高数据效率和训练稳定性。

关键创新：最重要的技术创新在于直接对齐政策而非依赖传统的监督数据，尤其是通过合成指令和自我蒸馏的结合，显著提升了模型的安全性和适应性。

关键设计：在设计上，PolicyAlign使用了政策敏感过滤机制，选择那些能够引起最大行为变化的指令进行训练，从而提高了训练的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PolicyAlign在多个模型上显著提高了安全性，同时保持低拒绝率，具体性能提升幅度达到20%以上，展示了其在安全对齐任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括医疗、法律和金融等安全敏感场景。通过提供一种可扩展且可维护的政策对齐方法，PolicyAlign能够帮助大语言模型更好地满足不断变化的安全需求，提升其在实际应用中的可靠性和安全性。

📄 摘要（原文）

Safety alignment of large language models (LLMs) typically depends on high-quality supervision data, such as safe demonstrations or preference pairs. However, in real-world deployment, emerging safety requirements are often specified as natural-language policies, while corresponding supervision data may be costly, delayed, or unavailable. This creates a mismatch between rapidly evolving safety policies and conventional data-driven alignment methods. To address this, we propose PolicyAlign, a simple yet effective framework for directly aligning LLMs with safety policies. Given a safety policy, PolicyAlign first synthesizes policy-violating instructions and then performs on-policy self-distillation to internalize policy-guided behavior. To improve training stability and data efficiency, we further introduce Policy-Sensitive Filtering, which selects instructions where the policy induces the largest behavioral shift. Experiments across multiple models show that PolicyAlign consistently improves safety while maintaining low over-refusal and preserving general capabilities. PolicyAlign also generalizes to medical, legal, and financial safety scenarios, highlighting its potential as a scalable and maintainable approach to policy-based LLM safety alignment. The code is released at https://github.com/Qwen-Applications/PolicyAlign.