Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes

📄 arXiv: 2606.27210v1 📥 PDF

作者: Jeremias Ferrao, Niclas Müller-Hof, Iustin Sîrbu, Traian Rebedea, Yftah Ziser

分类: cs.CL

发布日期: 2026-06-25

💡 一句话要点

提出意图感知训练以提升大型语言模型的安全分类能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全分类器 意图感知 AIMS数据集 GRPO方法 机器学习

📋 核心要点

  1. 现有的安全分类器往往忽视用户意图，导致分类准确性不足，尤其在复杂场景中表现不佳。
  2. 本文提出的AIMS数据集通过明确意图描述，增强了安全分类器的训练过程，提升了模型对用户意图的理解能力。
  3. 实验结果显示，意图感知训练方法在多个基准测试中表现优异，尤其是GRPO方法在五个外部安全基准上取得了最佳性能。

📝 摘要（中文）

本文主张安全分类器应将用户意图作为提示与最终标签之间的显性信号进行建模。为此，我们引入了AIMS数据集，该数据集包含1724个困难的安全提示，每个提示都配有意图描述和伤害标签。通过AIMS，我们评估了在监督微调、偏好学习、推理蒸馏和强化学习等训练模式下的意图感知训练。尽管AIMS数据集规模较小，但在各训练模式下仍能实现竞争力的安全分类器：模型生成的意图错误的DPO在SFT上有所提升，而意图条件的蒸馏在大多数教师-学生对中优于仅基于推理的蒸馏。最显著的是，直接奖励意图忠实性的GRPO在五个外部安全基准上表现最佳，而我们的意图感知模型在推理延迟-F1的Pareto前沿上形成了良好的平衡。这些结果表明，忠实的意图建模是构建更强大安全分类器的紧凑且高质量的监督信号。

🔬 方法详解

问题定义：本文旨在解决现有安全分类器未能有效建模用户意图的问题，导致分类性能不足，尤其在复杂提示下的表现不佳。

核心思路：通过引入AIMS数据集，明确用户意图作为训练信号，增强模型对意图的理解，从而提升安全分类器的性能。

技术框架：整体架构包括数据集构建、意图感知训练和多种训练模式的评估。主要模块包括数据预处理、模型训练和性能评估。

关键创新：最重要的创新在于将用户意图建模为显性信号，并通过GRPO方法直接奖励意图忠实性，从而显著提升分类器的准确性和鲁棒性。

关键设计：在模型训练中，采用了意图条件的损失函数设计，并在不同的训练模式中进行对比实验，优化了超参数设置以提高模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，意图感知训练方法在五个外部安全基准上表现最佳，GRPO方法的平均性能提升显著，尤其在意图忠实性方面的奖励机制，使得模型在推理延迟-F1的Pareto前沿上形成了良好的平衡。

🎯 应用场景

该研究的潜在应用领域包括内容审核、在线平台的安全监控及用户交互系统等。通过提升安全分类器的性能，可以有效减少有害内容的传播，保护用户安全，具有重要的社会价值和实际意义。未来，该方法还可能扩展到其他领域，如情感分析和用户行为预测等。

📄 摘要（原文）

We argue that safety classifiers should model user intent as an explicit signal between the prompt and the final label. To study this, we introduce AIMS, a human-annotated dataset of 1,724 difficult safety prompts, each paired with an intent description and harm label. We use AIMS to evaluate intent-aware training across supervised fine-tuning, preference learning, reasoning distillation, and reinforcement learning. Despite its size, AIMS enables competitive safety classifiers across training regimes: DPO from model-generated intent errors improves over SFT, and intent-conditioned distillation outperforms reasoning-only distillation in most teacher-student pairs. Most notably, directly rewarding intent faithfulness with GRPO yields the strongest average performance across five external safety benchmarks, while our intent-aware models form the inference latency-F1 Pareto frontier. These results show that faithful intent modeling is a compact, high-quality supervision signal for more robust safety classifiers.