AnchorBench: A Multi-Pathway Benchmark for the Anchoring Effect in LLMs

📄 arXiv: 2608.14320v1 📥 PDF

作者: Yiderigun Borjigin, Alexander Hermann, Christian Cyron, Roland Aydin

分类: cs.AI, cs.CL

发布日期: 2026-08-14

备注: Published as a conference paper at COLM 2026

💡 一句话要点

提出AnchorBench基准以评估LLMs中的锚定效应

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 锚定效应 大型语言模型 基准评估 认知偏差 模型鲁棒性 路径依赖 实验设计

📋 核心要点

  1. 现有研究对LLMs中的锚定效应评估有限，未能充分区分锚的相关性。
  2. AnchorBench基准通过多个锚定路径和明确的锚相关性评估LLMs中的锚定效应。
  3. 实验结果显示锚定效应依赖于路径，合理锚的影响显著，且高准确率并不保证模型的鲁棒性。

📝 摘要（中文）

锚定效应是一种认知偏差，初始参考值会影响后续判断。尽管这一效应在人的判断和决策中已有充分研究，近期的工作表明大型语言模型（LLMs）也表现出类似行为。然而，现有研究通常只评估有限的锚定路径，且很少区分无关锚与合理锚。本文提出了AnchorBench，一个用于评估LLMs中锚定效应的基准，涵盖多个锚定路径，并明确锚的相关性。通过对十四个模型的测试，发现锚定效应强烈依赖于路径，合理锚通常比无关锚引起更大的偏移，锚的影响随着与证据支持答案的距离增加而减弱，且即使在高任务准确率下，模型仍然容易受到合理锚的影响。

🔬 方法详解

问题定义：本文旨在解决现有对LLMs中锚定效应评估的局限性，尤其是对锚的相关性缺乏明确区分的问题。

核心思路：通过引入AnchorBench基准，评估多个锚定路径并明确锚的相关性，以全面理解锚定效应在LLMs中的表现。

技术框架：AnchorBench的整体架构包括多个锚定路径的设计、锚的相关性评估和对十四个模型的测试，确保覆盖广泛的实验条件。

关键创新：最重要的创新在于引入了锚的相关性轴，使得评估不仅限于简单的锚定路径，而是考虑了锚的合理性与无关性之间的差异。

关键设计：在实验中，使用了十个开放权重模型和四个前沿API模型，设计了大量控制提示，确保了实验的全面性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，锚定效应在不同路径下表现出显著差异，合理锚的引入通常导致更大的偏移，尤其在强路径中表现明显。此外，即使在高达95%的控制准确率下，模型仍然对合理锚保持敏感，显示出鲁棒性不足。

🎯 应用场景

该研究的潜在应用领域包括心理学、行为经济学以及人工智能的决策支持系统。通过深入理解锚定效应，能够优化模型在实际应用中的表现，提高其在复杂决策场景中的可靠性和准确性。

📄 摘要（原文）

The anchoring effect is a cognitive bias in which an initial reference value shifts a later judgment toward itself. This effect is well established in human judgment and decision-making, and recent work suggests that large language models (LLMs) exhibit similar behavior. However, existing work on anchoring in LLMs typically evaluates only a narrow set of anchor pathways and rarely distinguishes irrelevant from plausible anchors. We introduce AnchorBench, a benchmark for the anchoring effect in LLMs that evaluates multiple anchor pathways under an explicit anchor relevance axis. Across fourteen models, including ten open-weight models and four frontier API models, and a large set of controlled prompts, we find that (1) anchoring is strongly pathway-dependent, (2) plausible anchors usually induce larger shifts than irrelevant ones when introduced through stronger pathways, (3) anchor influence generally weakens as the anchor moves farther from the evidence-supported answer, most clearly on External and RAG, and (4) high task accuracy on the anchor-free control condition (Acc$_{10}$: answers within 10 points of gold) does not guarantee robustness: even frontier API models above 95% control accuracy remain susceptible to plausible anchors.