A Mechanistic Understanding of Pronoun Fidelity in LLMs
作者: Katharina Trinley, Jesujoba O. Alabi, Dietrich Klakow, Vagrant Gautam
分类: cs.CL, cs.LG
发布日期: 2026-06-15
💡 一句话要点
提出机制性理解以提升大语言模型的代词忠诚度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代词忠诚度 大型语言模型 机制分析 因果关系 自然语言处理 模型内部机制 注意力机制
📋 核心要点
- 现有方法主要依赖行为分析，无法深入理解模型内部机制，导致代词使用不一致的问题。
- 本文提出从机制性角度分析代词忠诚度，探讨群体绑定、近期偏见和刻板印象偏见的因果关系。
- 实验结果表明，三种机制的组合能够解释91-99.5%的模型行为，揭示了代词忠诚度的复杂性。
📝 摘要（中文）
代词的忠诚和稳健使用对于生成的公平性和连贯性至关重要，但大型语言模型在多个指代者使用不同代词时表现不佳。为研究推理、重复和偏见之间的相互作用，现有工作主要依赖行为方法，可能无法反映模型的内部机制。因此，本文提供了一种机制性、模型内部的视角，测试三种机制——群体实体绑定（G）、近期偏见（R）和刻板印象偏见（S）——在多个最先进语言模型中的因果实现。通过无界分布对齐搜索，我们发现这三者作为因果子空间共存于网络深度中。没有单一机制能够完全解释模型行为，但三者的组合一致性地解释了91-99.5%的情况。注意力头分析进一步揭示了两条竞争的复制路径。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在多指代者使用不同代词时的忠诚度问题。现有方法多依赖行为分析，无法揭示模型内部的因果机制。
核心思路：通过机制性分析，探讨群体实体绑定、近期偏见和刻板印象偏见三种机制在模型中的因果实现，提供更深入的理解。
技术框架：研究采用无界分布对齐搜索方法，分析模型内部的因果子空间，结合注意力头分析，揭示不同机制的相互作用。
关键创新：提出了从模型内部机制的视角分析代词忠诚度，发现三种机制的组合能够有效解释模型行为，与传统的行为分析方法形成对比。
关键设计：在实验中，设置了不同的参数以探测机制的因果关系，使用注意力头分析来识别复制路径，确保模型的多样性和复杂性得到充分体现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，三种机制的组合能够解释91-99.5%的模型行为，且注意力头分析揭示了群体绑定和刻板印象共享的概念级路径，近期偏见则使用分布式的表面形式重复路径。这些发现为理解代词忠诚度提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的对话系统、文本生成和机器翻译等。通过提升代词使用的忠诚度，可以增强生成文本的连贯性和公平性，进而提高用户体验和信任度。未来，该研究可能推动更智能的语言模型开发，促进人机交互的自然性。
📄 摘要（原文）
Faithful and robust pronoun use is important for fair and coherent generations, yet large language models largely fail when multiple referents use different pronouns. To study the interplay of reasoning, repetition, and bias in this task, prior work relies exclusively on behavioural approaches, which may not reflect a model's internal workings. Therefore, we provide a mechanistic, model-internal perspective on pronoun fidelity, testing whether three mechanisms -- group entity binding (G), recency bias (R), and stereotypical bias (S) -- are causally implemented across several SOTA language models. Using Boundless Distributed Alignment Search, we find all three coexist as causal subspaces distributed across network depth. No single mechanism fully explains model behaviour, but a combination of the three consistently accounts for 91-99.5%. An attention head analysis further reveals two competing copying routes; group binding and stereotype share a localized concept-level route that retrieves a bound occupation-pronoun unit, while recency uses a distributed token-level route that repeats surface forms. In sum, pronoun fidelity arises from competition between simultaneously active causal subspaces.