A Diagnostic Framework and Multi-Evaluator Audit of Evaluator-Driven Preference Dynamics in Self-Adapting LLM Agents

📄 arXiv: 2606.29719v1 📥 PDF

作者: Liu Zewen

分类: cs.LG, cs.CL

发布日期: 2026-06-29

备注: 9 pages, 4 figures, 6 tables

💡 一句话要点

提出EPC框架以解决LLM评估者动态偏好失效问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM评估 动态偏好 多模态分析 偏好崩溃 评估工具

📋 核心要点

  1. 现有的LLM评估者在短时间内可能失效，导致评估结果的不可靠性，影响模型的持续优化。
  2. 论文提出了EPC框架，通过多模态偏好崩溃指数等工具，系统性地检测和分析评估者的动态偏好变化。
  3. 实验结果表明，某些条件下的耦合强度显著，而自我评估的崩溃现象则进一步验证了评估工具的脆弱性。

📝 摘要（中文）

本研究记录了一个案例，表明专有LLM评估者的测量在数周内可能失效，并提供了一个诊断框架以检测此现象。我们引入了EPC框架，包括多模态偏好崩溃指数（MPCI）、评估者索引耦合矩阵和Jensen-Shannon散度（JSD），并在八种实验条件下进行了应用。结果显示，四种条件表现出强耦合，而四种条件则接近零耦合。特别是GPT-4o在五月和六月之间的漂移，揭示了评估工具自身的不稳定性。自我评估的崩溃现象也得到了验证，研究结果表明，单一快照的评估者研究是不可靠的。

🔬 方法详解

问题定义：本研究旨在解决专有LLM评估者在短时间内失效的问题，现有方法未能有效检测评估者的动态偏好变化，导致评估结果的不可靠性。

核心思路：论文提出EPC框架，结合多模态偏好崩溃指数、耦合矩阵和JSD，系统性地分析评估者的偏好动态，以识别其不稳定性。

技术框架：EPC框架包括三个主要模块：多模态偏好崩溃指数（MPCI）用于量化偏好变化，评估者索引耦合矩阵用于分析不同评估者之间的关系，Jensen-Shannon散度用于测量分布间的相似性。

关键创新：EPC框架的创新在于其综合性和系统性，通过多种指标的结合，能够全面反映评估者的动态偏好变化，与现有单一指标方法相比，提供了更为可靠的评估工具。

关键设计：在实验中，耦合系数的范围从0.00到1.18，且不同条件下的耦合强度差异显著，特别是自我评估的JSD值为0.003，显示出其崩溃现象。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，四种条件下的强耦合现象（N=36），而四种条件则接近零耦合（N=76）。特别是GPT-4o在五月和六月之间的漂移，揭示了评估工具自身的不稳定性，强调了EPC框架在评估者动态偏好检测中的重要性。

🎯 应用场景

该研究的EPC框架可广泛应用于LLM模型的评估与优化，尤其是在需要动态监测评估者偏好的场景中。通过提供可靠的评估工具，研究成果将有助于提高模型的稳定性与性能，推动相关领域的进一步发展。

📄 摘要（原文）

Measurements of proprietary LLM evaluators can become invalid within weeks -- we document one case and provide the diagnostic framework to detect it. We introduce EPC -- comprising the Multimodal Preference Collapse Index (MPCI), evaluator-indexed coupling matrix, and Jensen-Shannon divergence (JSD) -- and apply it across eight experimental conditions (N=112 main + N=10 ablation = 122 unique repetitions, all reported). Coupling coefficients range from 0.00 to 1.18 across per-condition means (CV approx 0.9, n=8 conditions). Four conditions show strong coupling (N=36; GPT-4o May, GPT-4o-mini, Qwen3.7-plus, DashScope 30r); four collapse to near-zero (N=76; GPT-4o June, qwen-plus N=30, symmetric LR, DeepSeek self-eval). The May-to-June GPT-4o drift -- an N=8 re-replication inverting the study's conclusion -- is the most informative measurement: a diagnostic instrument detecting its own instability demonstrates the fragility it was designed to measure. Self-evaluation (97% zero, JSD=0.003) consistently collapses, though floor effects are possible. Output-format confound analysis finds per-strategy aggregate rho=0.89 but per-instance rho=0.219 (p=0.093); PCI reported as preference-convergence metric. We release EPC with all data. The finding is not any single coupling magnitude but the pattern of version-conditional instability that makes single-snapshot evaluator studies unreliable.