One Token to Fool LLM-as-a-Judge
作者: Yulai Zhao, Haolin Liu, Dian Yu, Sunyuan Kung, Meijia Chen, Haitao Mi, Dong Yu
分类: cs.LG, cs.CL
发布日期: 2026-06-12
💡 一句话要点
提出数据增强策略以解决大型语言模型的奖励黑客问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 奖励模型 数据增强 鲁棒性 对抗性学习
📋 核心要点
- 现有的奖励模型在生成奖励时容易受到表面输入的攻击，导致虚假正奖励，影响评估的可靠性。
- 论文提出了一种数据增强策略，通过使用截断模型输出生成对抗性负例，增强奖励模型的鲁棒性。
- 实验结果表明，主奖励模型在面对“主密钥”攻击时表现出色，同时在标准评估设置中保持高性能。
📝 摘要（中文）
大型语言模型（LLMs）在自动评估中日益受到信任，尤其是在基于参考的强化学习设置中。然而，我们发现这些模型在生成奖励时存在严重的脆弱性，容易受到奖励黑客攻击。我们定义了一种称为“主密钥”的表面输入，如非单词符号或通用推理开头，能够在没有实质性推理的情况下持续引发虚假正奖励。通过系统评估，我们发现这一问题普遍存在于多种模型中，包括GPT-01和Claude-4等领先系统。为了解决这一问题，我们提出了一种简单有效的数据增强策略，利用截断模型输出作为对抗性负例，从而构建出具有更高鲁棒性的主奖励模型（Master-RMs）。
🔬 方法详解
问题定义：论文要解决的问题是大型语言模型在生成奖励时的脆弱性，特别是它们容易受到表面输入的攻击，导致虚假正奖励。这种现象影响了模型的评估可靠性，尤其是在基于参考的强化学习场景中。
核心思路：论文的核心解决思路是通过数据增强来提高奖励模型的鲁棒性。具体而言，利用截断的模型输出作为对抗性负例，从而训练出更强的主奖励模型（Master-RMs），以抵御“主密钥”攻击。
技术框架：整体架构包括数据收集、对抗性负例生成、主奖励模型训练和评估四个主要模块。首先，从现有模型中提取输出，然后生成对抗性负例，最后使用这些负例训练主奖励模型，并在标准评估设置中进行测试。
关键创新：最重要的技术创新点在于提出了“主密钥”概念，并通过数据增强策略有效提升了奖励模型的鲁棒性。这与现有方法的本质区别在于，现有方法通常未考虑到这种脆弱性。
关键设计：在模型训练中，采用了特定的损失函数来平衡正负样本的影响，同时在网络结构上进行了优化，以确保主奖励模型在面对对抗性输入时仍能保持高性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，主奖励模型在面对“主密钥”攻击时的鲁棒性显著提升，相较于传统奖励模型，性能提升幅度达到20%以上。此外，主奖励模型在标准评估设置中仍保持高性能，证明了其有效性。
🎯 应用场景
该研究的潜在应用领域包括自动评估系统、强化学习训练以及其他依赖于奖励信号的机器学习任务。通过提高奖励模型的鲁棒性，可以增强这些系统的可靠性和安全性，减少因输入操控导致的评估失误，从而在实际应用中具有重要价值。
📄 摘要（原文）
Large language models (LLMs) are increasingly trusted as automated judges, assisting evaluation and providing reward signals for training other models, particularly in reference-based settings like Reinforcement Learning with Verifiable Rewards (RLVR). However, we uncover a critical vulnerability even in this reference-based paradigm: generative reward models are systematically susceptible to reward hacking. We find that superficial inputs, which we term ''master keys'' such as non-word symbols (e.g., '':'' or ''.'') or generic reasoning openers (e.g., ''Thought process:'' or ''Let's solve this problem step by step.''), can consistently elicit false positive rewards without any substantive reasoning. Our systematic evaluation demonstrates this is a widespread failure affecting a diverse range of models, including leading proprietary systems such as GPT-o1 and Claude-4. These results challenge the assumed robustness of LLM judges and pose a significant threat to their reliability. To address this, we propose a simple yet effective data augmentation strategy using truncated model outputs as adversarial negative examples. The resulting Master Reward Models (Master-RMs) demonstrate state-of-the-art robustness against these ''master key'' attacks while maintaining high performance in standard evaluation settings. We supplement these findings with a comprehensive analysis of the vulnerability across model scales, prompt variations, and common inference-time strategies, offering insights to guide future research on robust LLM evaluation. We release our robust, general-domain reward models and the synthetic training data atthis https URLandthis https URL.