Self-Preference Is Weak or Absent in Verifiable Instruction-Following Revision: A Four-Model Test Under Genuine Authorship
作者: William Guey, Pierrick Bougault
分类: cs.CL
发布日期: 2026-06-18
备注: 7 pages, 3 tables. Code and data: https://github.com/williamguey/self-preference-revision
💡 一句话要点
验证自我偏好在指令跟随修订中的弱或缺失
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自我偏好 指令跟随 文本修订 验证器 实验设计 模型评估
📋 核心要点
- 现有大型语言模型在自我审查时可能存在自我偏好偏见，影响其对有效修正的接受程度。
- 论文通过引入确定性验证器，测试模型在自我修订时是否存在自我偏好，提供了新的实验设计。
- 实验结果显示，模型在拒绝有效修正时，主要原因是对错误的捕捉，而非偏好，表明自我偏好较弱或缺失。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地审查和修订文本，包括它们自己的文本。已记录的自我偏好偏见（模型在担任评审时偏爱自己的生成）引发了一个问题，即模型是否也会抵制对自己写作的有效修正。我们在一个由确定性验证器决定“有效”的环境中进行了测试：在IFEval上的指令跟随修订。模型撰写草稿；官方IFEval检查器确认草稿违反了约束，并且候选编辑修复了它；模型随后作为真实的上下文作者或作为一个中立的新模型接受或拒绝该编辑。在四个中等规模模型系列和85个作者与新模型的比较中，我们发现没有可检测的自我偏好：作者拒绝经过验证的良好修正的比率与新模型评估相同草稿的比率基本相同（差距-5.1个百分点，95%置信区间[-12.9, +2.7]）。
🔬 方法详解
问题定义：论文要解决的问题是大型语言模型在自我修订时是否存在自我偏好偏见，现有方法未能有效验证这一点。
核心思路：论文的核心思路是通过引入一个确定性验证器，判断模型在自我修订时是否会抵制有效的修正，从而消除自我偏好的影响。
技术框架：整体架构包括四个主要阶段：模型生成草稿、使用IFEval检查器验证草稿、提供候选修正、模型决定接受或拒绝修正。
关键创新：最重要的技术创新点在于使用确定性验证器替代其他模型，提供更客观的修正判断标准，显著降低了自我偏好的影响。
关键设计：实验中设置了多个模型系列进行比较，使用了标准的IFEval检查器作为验证工具，确保了实验结果的可靠性和可重复性。
📊 实验亮点
实验结果显示，四个模型系列中，作者拒绝经过验证的良好修正的比率与新模型相似，差距仅为-5.1个百分点，且95%置信区间为[-12.9, +2.7]，表明自我偏好偏见在此场景中几乎不存在。
🎯 应用场景
该研究的潜在应用领域包括文本生成、自动编辑和内容审查等。通过理解模型的自我偏好，开发者可以更好地设计模型，使其在自我修订时更加客观，从而提高文本质量和准确性。未来，这种研究可能会影响人机协作的文本生成系统。
📄 摘要（原文）
Large language models (LLMs) increasingly review and revise text, including their own. A documented self-preference bias (models favoring their own generations when acting as judges) raises the question of whether models also resist valid corrections to their own writing. We test this in a setting where "valid" is decided not by another model but by a deterministic verifier: instruction-following revision on IFEval. A model writes a draft; the official IFEval checker confirms the draft violates a constraint and that a candidate edit fixes it; the model then accepts or rejects that edit either as the genuine in-context author or as a fresh model that sees the draft neutrally. Across four mid-tier model families and 85 author-versus-fresh comparisons, we find no detectable self-preference: authors reject verified-good fixes to their own drafts at essentially the same rate as fresh models judging the same drafts (gap -5.1 pp, 95% CI [-12.9, +2.7]). A self-skepticism hint from a smaller pilot did not replicate at scale. The one robust observation is qualitative: when authors do reject a verified-good fix, 97% of their stated reasons are flaw-catching rather than preference, that is, about the character of rejections, not an elevated rate. Effects smaller than ~13 pp cannot be excluded at this sample size.