Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?
作者: Zewen Liu
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-06-30
备注: 7 pages, 2 tables
💡 一句话要点
提出概率校准以缓解LLM代理反馈循环中的偏好耦合问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 评估者偏好 概率校准 反馈循环 策略学习 偏好耦合 实验研究
📋 核心要点
- 现有方法未能有效解决评估者偏好耦合问题，导致LLM代理学习到的策略受到系统性偏差影响。
- 论文提出通过对评估者的判断进行概率校准，以减少偏好传播的虚假性，从而减轻偏好耦合的影响。
- 实验结果显示，校准技术显著降低了耦合系数和散度，验证了其在LLM反馈循环中的有效性。
📝 摘要（中文）
当大型语言模型（LLM）代理通过评估者反馈调整其行为时，系统性的评估者偏差会传播到代理的学习策略分布中，这一现象被称为评估者偏好耦合。尽管已有研究记录了这一耦合现象并建立了诊断框架（EPC）进行测量，但尚未探讨校准技术是否能减轻其影响。本文首次研究了评估者校准作为缓解手段：通过对评估者的成对判断应用概率校准，以减少虚假的偏好传播。在一项控制的被试内实验中（N=5），比较了标准的二元TTRL（胜/负）与信心校准的TTRL（概率加权更新），结果表明校准将耦合系数gamma降低了20-49%，将Jensen-Shannon散度降低了45-67%。对称LR控制实验确认该效果并非由于更新不对称性降低所致。我们发布了校准的TTRL协议，并推荐其作为LLM作为评判者部署管道的轻量级缓解方案。
🔬 方法详解
问题定义：本文旨在解决大型语言模型代理在评估者反馈下产生的偏好耦合问题。现有方法未能有效控制评估者的系统性偏差，导致代理学习到的策略受到影响。
核心思路：论文的核心思路是通过对评估者的成对判断进行概率校准，减少虚假的偏好传播，从而减轻偏好耦合的影响。这种设计旨在提高评估者反馈的可靠性。
技术框架：整体架构包括两个主要模块：评估者模块和代理模块。评估者模块负责生成成对判断，代理模块则根据这些判断调整其策略。通过引入概率校准，增强了评估者判断的可信度。
关键创新：最重要的技术创新点在于首次将概率校准应用于评估者的反馈中，以减轻偏好耦合的影响。这与现有方法的本质区别在于，传统方法未考虑评估者判断的置信度。
关键设计：在实验中，采用了信心校准的TTRL（概率加权更新）策略，设置了特定的损失函数以优化评估者的判断准确性，并通过对称LR控制实验验证了更新不对称性对结果的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，应用概率校准后，耦合系数gamma降低了20-49%，Jensen-Shannon散度降低了45-67%。这些数据表明校准技术在减轻偏好耦合方面的显著效果，且对称LR控制实验进一步确认了这一发现的有效性。
🎯 应用场景
该研究的潜在应用场景包括大型语言模型在自动评估、推荐系统和人机交互等领域。通过引入概率校准，可以提高评估者反馈的质量，从而提升模型的学习效果和决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
When large language model (LLM) agents adapt their behavior through evaluator feedback, systematic evaluator biases propagate into the agent's learned strategy distribution - a phenomenon termed evaluator preference coupling. Prior work has documented this coupling and established a diagnostic framework (EPC) to measure it, but has not investigated whether calibration techniques can mitigate the effect. We present the first study of evaluator calibration as mitigation: applying probability calibration to the evaluator's pairwise judgments to reduce spurious preference propagation. In a controlled within-subjects experiment (N=5) comparing standard binary TTRL (win/loss) with confidence-calibrated TTRL (probability-weighted updates) using DeepSeek-V4-Pro as executor and GLM5.2 as evaluator, we find that calibration reduces the coupling coefficient gamma by 20-49% and Jensen-Shannon divergence by 45-67%. A symmetric-LR control confirms the effect is not due to reduced update asymmetry. We release the calibrated TTRL protocol and recommend it as a lightweight mitigation for LLM-as-judge deployment pipelines.