Regime-Conditional Verification: Correctness Estimation for Adapting and Monitoring Safety Classifiers
作者: Thiago Sandoval, Ufuk Topcu
分类: cs.AI, cs.CL, cs.CR, cs.LG
发布日期: 2026-08-14
备注: 16 pages including technical appendix, 6 figures
💡 一句话要点
提出Regime-Conditional Verification以解决安全分类器适应性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 安全分类器 适应性 分布漂移 正确性估计 大语言模型 实时监控 机器学习
📋 核心要点
- 现有的安全分类器在实际部署中常常无法满足部署者的策略要求，且随着流量变化性能下降。
- 本文提出的RCV方法通过内部表示估计预测的正确性，能够在不重新训练的情况下适应安全分类器。
- 实验结果表明，RCV在多个分类器和数据集上均显著提高了对不安全内容的检测能力，达到了0.81的提升。
📝 摘要（中文）
安全分类器在大语言模型的部署中常常面临两个主要问题：一是其决策反映了训练期间学习的策略，而非部署者期望的策略；二是随着部署流量的演变，其性能会下降。本文提出了一种轻量级的包装器——Regime-Conditional Verification (RCV)，可以在不重新训练的情况下适应现成的安全分类器。RCV通过分类器的内部表示估计每个预测与部署者策略不一致的概率，并选择性地纠正可能错误的预测。同时，这些正确性估计还提供了无标签信号，用于检测分布漂移，从而实现维护循环，更新正确性估计层，仅在必要时进行分类器的微调。在三个现成的安全分类器和两个基准数据集上，RCV在每个分类器-数据集组合中都提高了对部署者策略的遵循，捕获了高达0.81的先前未检测到的不安全内容。
🔬 方法详解
问题定义：本文旨在解决安全分类器在实际应用中因训练策略与部署策略不一致而导致的决策错误，以及随着流量变化性能下降的问题。现有方法往往依赖于重新训练，效率低下且成本高。
核心思路：RCV的核心思路是利用分类器的内部表示来估计每个预测的正确性概率，从而选择性地纠正可能的错误预测。这种方法避免了重新训练的复杂性，同时能够适应流量变化。
技术框架：RCV的整体架构包括两个主要模块：首先是正确性估计模块，通过分析分类器的内部表示来判断预测的可靠性；其次是维护循环模块，利用正确性估计来检测分布漂移，并在必要时进行分类器的微调。
关键创新：RCV的主要创新在于其轻量级的设计，能够在不改变底层分类器的情况下，显著提高其对部署者策略的遵循能力。这与传统方法需要频繁重新训练的方式形成鲜明对比。
关键设计：在设计上，RCV采用了无标签信号来检测分布漂移，并通过选择性纠正机制来优化预测结果。具体的参数设置和损失函数设计尚未详细披露，属于未知领域。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RCV在三个不同的安全分类器和两个基准数据集上均实现了显著提升，捕获了高达0.81的未检测到的不安全内容。此外，在十个攻击活动的部署研究中，RCV成功检测了所有攻击，且大多数漂移事件在不更新分类器的情况下得以修复。
🎯 应用场景
该研究的潜在应用领域包括大语言模型的安全性监控、自动化决策系统以及实时流量分析等。通过提高安全分类器的适应性和准确性，RCV能够有效降低潜在风险，提升系统的安全性和可靠性。未来，该方法可能在更多实际场景中得到应用，推动安全技术的发展。
📄 摘要（原文）
Safety classifiers deployed with large language models often fail for two reasons: their decisions reflect the policy learned during training rather than the deployer's desired policy, and their performance degrades as deployment traffic evolves. We present Regime-Conditional Verification (RCV), a lightweight wrapper that adapts an off-the-shelf safety classifier without retraining it. RCV estimates, from the classifier's internal representations, the probability that each prediction disagrees with the deployer's policy, and selectively corrects predictions likely to be wrong. The same correctness estimates also provide a label-free signal for detecting distribution shift, enabling a maintenance loop that updates the correctness estimation layer and resorts to classifier fine-tuning only when necessary. Across three off-the-shelf safety classifiers and two benchmark datasets, RCV improves adherence to the deployer's policy in every classifier-dataset combination, catching up to 0.81 of previously missed unsafe content without modifying the underlying classifier. In a deployment study with ten attack campaigns, each a harm category held out of RCV's training, RCV detects every campaign in a dedicated injection panel; in the maintenance census most drift episodes are repaired without updating the classifier, and the fine-tune is reserved for the residual episodes that repair does not restore.