JudgeStealer: Extracting LLM Judging Capabilities across Evaluation Protocols

📄 arXiv: 2608.26982v1 📥 PDF

作者: Chen Chen, Yaolin Chen, Xuehan Sun, Juan Lin, Xueluan Gong, Yuhang Zheng, Qian Wang, Kwok-Yan Lam

分类: cs.CL

发布日期: 2026-08-27

备注: 20 pages, 8 figures

💡 一句话要点

提出JudgeStealer以高效提取LLM评判能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型提取 评判能力 查询效率 多协议评估

📋 核心要点

  1. 现有的模型提取方法未能专门针对LLM评判者，且在有限查询预算下支持多种评估协议的能力有限。
  2. JUDGESTEALER通过利用跨协议一致性，动态选择输入并转化监督信息，从而高效提取评判能力。
  3. 实验结果显示，JUDGESTEALER在点对、成对和列表评估中分别达到了73.3%、87.0%和71.6%的准确率，显著优于现有方法。

📝 摘要（中文）

随着大型语言模型（LLM）评判者在各种评估场景中的广泛应用，其评判能力成为重要的知识产权。然而，黑箱访问使这些能力面临模型提取攻击。现有提取方法未专门针对LLM评判者，并且在有限查询预算下对多种评估协议的支持有限。本研究提出了JUDGESTEALER，这是第一个高效的模型提取框架，旨在跨越点对评分、成对比较和列表排名协议复制评判能力。JUDGESTEALER利用强大的跨协议一致性获取点对分数，并在不增加额外受害者查询的情况下将其转化为成对和列表监督。通过动态选择基于语义多样性、预测不确定性和潜在评判偏见的点对输入，JUDGESTEALER捕捉信息丰富的评判模式并提高查询效率。实验表明，JUDGESTEALER在多种设置下均优于现有提取基线。

🔬 方法详解

问题定义：本论文旨在解决如何高效提取大型语言模型（LLM）评判者的评判能力，现有方法在多种评估协议下的适用性和查询预算限制方面存在不足。

核心思路：JUDGESTEALER的核心思路是利用跨协议的一致性，动态选择具有语义多样性和预测不确定性的输入，以此提高查询效率并捕捉评判者的模式。

技术框架：JUDGESTEALER的整体架构包括输入选择模块、分数获取模块和监督转化模块，首先选择点对输入，然后获取点对分数，最后将其转化为成对和列表监督。

关键创新：JUDGESTEALER的主要创新在于其高效的查询策略和动态输入选择机制，能够在不增加额外查询的情况下实现多协议的评判能力提取，这与现有方法的静态查询策略形成鲜明对比。

关键设计：在设计中，JUDGESTEALER采用了分数平滑技术和多协议复审策略，以保持分数的序数结构并减轻在代理适应过程中的灾难性遗忘，同时设置了合适的损失函数以优化模型性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，JUDGESTEALER在点对、成对和列表评估中分别达到了73.3%、87.0%和71.6%的准确率，显著优于现有的提取基线，展示了其在不同代理模型规模和适应策略下的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的自动评估系统、智能教育平台以及任何需要评判能力的AI系统。通过高效提取LLM的评判能力，能够为这些领域提供更为精准和可靠的评估工具，提升用户体验和系统性能。

📄 摘要（原文）

Large language model (LLM) judges are increasingly used across various evaluation scenarios, making their judgment capabilities valuable intellectual property. However, black-box access exposes these capabilities to model extraction attacks. Existing extraction methods do not specifically target LLM judges and provide limited support for multiple evaluation protocols under restricted query budgets. In this study, we propose JUDGESTEALER, the first query-efficient model extraction framework for replicating judging capabilities across pointwise scoring, pairwise comparison, and listwise ranking protocols. JUDGESTEALER exploits the strong cross-protocol agreement to acquire pointwise scores and transform them into pairwise and listwise supervisions without additional victim queries. To capture informative judge patterns and improve query efficiency, JUDGESTEALER dynamically selects pointwise inputs based on semantic diversity, predictive uncertainty, and potential judge biases. It further applies score smoothing and multi-protocol review to preserve the ordinal structure of scores and mitigate catastrophic forgetting during surrogate adaptation. Extensive experiments on state-of-the-art LLM-as-a-judge and reward models show that JUDGESTEALER consistently outperforms existing extraction baselines, achieving up to 73.3%, 87.0%, and 71.6% accuracy for pointwise, pairwise, and listwise evaluation, respectively. JUDGESTEALER also remains effective across different sur- rogate model scales, adaptation strategies, and reasoning settings. Moreover, JUDGESTEALER demonstrates robustness against representative extraction defenses.