Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge
作者: Shaojie Yin
分类: cs.CL
发布日期: 2026-06-12
💡 一句话要点
提出Judge-LS以解决LLM评估语言偏好问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自动评判 语言偏好 元评估协议 多语言评估
📋 核心要点
- 现有的LLM评估方法可能受到语言偏好的影响，导致评判结果不够可靠。
- 本文提出Judge-LS协议，通过语言转换生成多种语言变体，评估评判者的语言偏好。
- 实验结果显示，中文和语言切换的表现引发了显著的偏好变化，且评判者在英语中的表现最佳。
📝 摘要（中文）
大型语言模型（LLMs）现已广泛用于开放式指令跟随评估的自动评判，但这引发了一个新的可靠性问题：评判者是仅评估答案质量，还是也会受到比较语言的影响？为此，本文提出了Judge-LS，一个轻量级的元评估协议，将LLMBar响应对转化为英语、中文及中英混合语言变体。研究表明，中文和语言切换的表现相较于英语引发了10.7%至14.4%的偏好翻转，且所有评判者在英语中的准确率最高。然而，翻译等价的平局探测并未显示出系统性的英语偏好，大多数探测被评为平局，非平局决策更倾向于中文。实验无需模型训练，仅使用API调用，适用于普通本地硬件。
🔬 方法详解
问题定义：本文旨在解决LLM作为评判者时可能存在的语言偏好问题。现有方法未能有效评估评判者在不同语言下的表现一致性，可能导致评判结果的不可靠性。
核心思路：论文提出Judge-LS协议，通过将评判对转化为多种语言形式，检验评判者在语言转换下的偏好是否一致。设计的核心在于确保评判者在翻译等价的情况下不偏向任何特定语言。
技术框架：整体流程包括生成多语言变体、进行评判、收集结果和分析偏好。主要模块包括语言转换、评判模型调用和结果统计分析。
关键创新：Judge-LS协议的创新在于其轻量级设计，能够在不需要模型训练的情况下，通过API调用实现评判者的语言偏好评估。这与传统方法的高复杂性形成鲜明对比。
关键设计：实验中使用了信心区间、配对显著性检验和自动化转换审计，确保结果的可靠性。关键参数设置包括翻译等价性检验和高风险变体的敏感性分析。实验设计确保了结果的有效性和可重复性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在对比中，中文和语言切换的表现引发了10.7%至14.4%的偏好翻转，而所有评判者在英语中的准确率最高。翻译等价的平局探测大多数被评为平局，非平局决策更倾向于中文，显示出语言偏好的复杂性。
🎯 应用场景
该研究的潜在应用领域包括教育评估、自动化内容审核和多语言支持的人工智能系统。通过提高评判的可靠性，Judge-LS能够为多语言环境下的自动评估提供更为公正的解决方案，未来可能推动相关领域的技术进步。
📄 摘要（原文）
Large language models (LLMs) are now widely used as automatic judges for open-ended instruction-following evaluation. This practice is convenient, scalable, and often more semantically aware than reference-based metrics, but it also introduces a new reliability question: does a judge evaluate the quality of an answer, or does it also react to the language in which the comparison is presented? We propose Judge-LS, a lightweight meta-evaluation protocol that transforms LLMBar response-pair items into English, Chinese, and Chinese-English language-switched variants. A reliable judge should preserve its preference under label-preserving language transformations and should not prefer a language when two answers are translation-equivalent. We evaluate four API-accessible judges on the full 419-item LLMBar benchmark, producing 13,408 successful pairwise judgments. Across models, Chinese and language-switched presentations induce 10.7--14.4% preference flips relative to English, and all judges achieve their highest accuracy in English. However, translation-equivalent tie probes do not reveal a systematic English preference: most probes are judged as ties, and non-tie decisions more often favor Chinese. We add confidence intervals, paired significance tests, and an automatic transformation audit with a sensitivity analysis that excludes mechanically flagged high-risk variants. The experiment requires no model training, uses only API calls, and is feasible on modest local hardware.