Multimodal Evaluator Preference Collapse: Cross-Modal Contagion in Self-Evolving Agents
作者: Zewen Liu
分类: cs.LG, cs.CL
发布日期: 2026-06-15
备注: 19 pages, 0 figures
💡 一句话要点
提出多模态评估偏好崩溃模型以解决自我演化代理中的偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态评估 偏好崩溃 自我评估 跨模态传染 AI偏见 策略选择 深度学习 实验框架
📋 核心要点
- 现有方法在多模态自我评估中存在系统性偏见，导致评估者偏好崩溃现象加剧。
- 论文提出通过四阶段隔离训练来测量跨模态传染现象，揭示评估者偏好在不同模态间的转移。
- 实验结果显示，跨模态评估产生了强烈的双向传染，且自我评估几乎完全免疫于偏好崩溃。
📝 摘要（中文）
当AI代理使用语言模型评估自身输出时，系统性偏见会出现。我们发现多模态环境中评估者偏好崩溃（EPC）显著加剧。通过使用GPT-4o评估DeepSeek-chat在文本和视觉任务中的表现，我们发现单一策略（step_by_step）吸收了48.4%的权重，远超文本自评中的3.2倍崩溃现象。同时，三种视觉领域策略的权重仅为9.1%。我们还展示了一种新现象，称为跨模态传染：一种模态上获得的评估者偏好会转移并干扰另一模态的策略选择。通过四阶段隔离训练，我们测量了传染系数并记录了策略反转现象。
🔬 方法详解
问题定义：本论文旨在解决多模态自我评估中出现的评估者偏好崩溃（EPC）问题。现有方法在多模态环境中容易导致系统性偏见，影响策略选择的有效性。
核心思路：论文通过引入四阶段隔离训练框架，探索评估者偏好在不同模态间的传染现象，揭示了跨模态传染的机制及其影响。
技术框架：整体架构包括四个阶段：初始训练、隔离训练、交叉模态评估和统计验证。每个阶段旨在逐步隔离和测量偏好传染的影响。
关键创新：最重要的创新在于提出了跨模态传染现象，并通过量化的传染系数来评估其影响。这一发现与现有方法的主要区别在于强调了模态间的相互影响。
关键设计：在实验中，使用了多种评估者配置和不同的策略组合，设置了多个参数以确保实验的严谨性。具体包括对评估者身份的索引和传染矩阵的构建。实验中还使用了统计验证方法来评估结果的显著性。
📊 实验亮点
实验结果显示，跨模态评估产生了强烈的双向传染，具体表现为文本到视觉的传染系数为1.176，视觉到文本为1.089。高轮次的评估导致单一策略主导，达到70%的零传染率，而自我评估则在97%的实验中实现了零传染，显示出其近乎完全的免疫性。
🎯 应用场景
该研究的潜在应用领域包括多模态AI系统的设计与优化，尤其是在需要自我评估的场景中，如智能助手、自动驾驶和机器人等。通过理解评估者偏好的传染机制，可以提高系统的鲁棒性和可靠性，减少偏见的影响，推动AI技术的安全应用。
📄 摘要（原文）
When AI agents use language models to evaluate their own outputs in a feedback loop, systematic biases emerge. We show that Evaluator Preference Collapse (EPC) is dramatically amplified in multimodal settings. Using GPT-4o to evaluate DeepSeek-chat across text and visual tasks, we find that a single strategy (step_by_step) absorbs 48.4% of all weight -- 3.2x the collapse observed in text-only self-evaluation -- while three visual-domain strategies receive only 9.1% combined weight. We then demonstrate a novel phenomenon we term cross-modal contagion: evaluator preferences acquired on one modality transfer to and corrupt strategy selection on another. Through a four-phase isolation training paradigm, we measure contagion coefficients and document strategy inversion -- the optimal strategy for a modality reverses after cross-modal exposure. A Phase 3 statistical validation across four evaluator configurations (N=53 total independent repetitions, 15,592 API calls) reveals a clear hierarchy: cross-model evaluation (GPT-4o, N=8) produces strong but symmetric bidirectional contagion (mean gamma_{T->V}=1.176, gamma_{V->T}=1.089, Delta=-0.088, p=0.575, Cohen's d=0.29); high round counts (DashScope, 50 rounds) cause collapse to single-strategy dominance (70% zero contagion); and self-evaluation provides near-complete immunity -- 97% of runs (N=30, DeepSeek-chat) yield exactly zero contagion (mean gamma=0.033, 95% CI [-0.031, 0.010], p=0.642, d=0.07). No evaluator condition shows statistically significant directional asymmetry. We introduce the contagion matrix indexed by evaluator identity, release the MM-EPC experimental framework, and identify cross-model evaluator architecture as the primary risk factor for preference contagion.