A Quantitative Approach to Asch Conformity in Frontier Large Language Models

📄 arXiv: 2610.36668v1 📥 PDF

作者: Senthil Rajasekaran, Stylianos Loukas Vasileiou

分类: cs.CL, cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出量化方法研究大语言模型中的阿施从众现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 从众行为 量化分析 概率特性 社会心理学

📋 核心要点

  1. 现有研究主要集中在展示大型语言模型的从众行为，缺乏量化分析，无法深入理解从众现象的机制。
  2. 本研究通过重复采样单一问题，利用LLMs的概率特性生成答案分布，从而实现对从众现象的量化分析。
  3. 实验结果表明，前沿LLMs确实存在从众行为，并提供了关于从众条件和程度的量化数据，增强了已有文献的结论。

📝 摘要（中文）

阿施从众实验最近受到广泛关注，作为测量大型语言模型（LLMs）从众行为的一种方式。尽管以往研究主要集中在证明LLMs的从众现象上，我们的工作为这一方法增加了量化层面。我们通过重复采样单一问题，利用LLMs的概率特性生成答案分布，从而比较模型在呈现制造共识前后的答案分布。实验结果确认前沿LLMs确实存在从众现象，并通过分布间比较提供了关于导致从众的条件及其程度的额外量化数据。

🔬 方法详解

问题定义：本研究旨在解决现有方法在分析大型语言模型从众行为时缺乏量化数据的问题。现有研究主要集中在定性展示，从众现象的具体条件和程度尚不明确。

核心思路：我们提出通过重复采样单一问题，利用LLMs的概率特性生成答案分布，进而比较在呈现制造共识前后的答案分布，以实现对从众现象的量化分析。

技术框架：整体流程包括：首先选择一个问题，然后多次采样该问题以生成答案分布；接着，向模型呈现制造的共识答案，最后比较前后答案分布的变化。主要模块包括问题选择、答案生成和分布比较。

关键创新：本研究的创新点在于引入了分布间比较的方法，提供了从众现象的量化数据，这与以往仅定性展示从众行为的研究有本质区别。

关键设计：在实验中，我们设置了多个参数以确保答案分布的准确性，采用了适当的损失函数来优化模型的输出，并设计了合理的网络结构以支持多次采样和分布比较。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，前沿大型语言模型在呈现制造共识后，其答案分布发生显著变化，验证了从众现象的存在。通过分布比较，我们获得了关于从众行为的量化数据，进一步揭示了影响从众程度的条件。这些结果为理解LLMs的行为提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括社会心理学、人工智能伦理以及人机交互等。通过量化分析大型语言模型的从众行为，可以为理解模型在特定情境下的决策过程提供重要依据，并为未来的模型设计和优化提供指导。

📄 摘要（原文）

The Asch conformity experiment has recently gained considerable attention as a way of measuring conformity in large language models (LLMs). While previous studies have focused on demonstrating conformity in LLMs, our work adds a further quantitative layer to this approach. Instead of sampling a frontier LLM on a suite of questions, our approach samples a single question repeatedly, leveraging the probabilistic nature of LLMs to produce a distribution of answers. In doing so, we can compare the distributions of answers before and after the model is presented with the manufactured consensus. Our experiments confirm that frontier LLMs do conform, reinforcing prior literature, and, through our distribution-to-distribution comparisons, provide additional quantitative data on the conditions that lead to conformity and the degree to which it occurs.