Localizing Lying in Llama: Understanding Instructed Dishonesty on True-False Questions Through Prompting, Probing, and Patching
作者: James Campbell, Richard Ren, Phillip Guo
分类: cs.LG, cs.AI, cs.CL
发布日期: 2023-11-25
备注: 14 pages, 12 figures
💡 一句话要点
通过提示、探测和修补研究LLaMA中的谎言定位
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 指令性不诚实 机制可解释性 提示工程 激活修补 注意力机制 模型干预
📋 核心要点
- 现有大型语言模型的输出中，错误信息的来源不明，可能是知识不足或故意撒谎，导致对其可信度的质疑。
- 本文通过提示工程和机制可解释性方法，明确探讨了如何诱导LLaMA模型撒谎，并定位其行为发生的网络层。
- 实验结果显示，仅需46个注意力头的干预即可使模型在多种情况下诚实回答，展现出显著的鲁棒性和有效性。
📝 摘要（中文）
大型语言模型（LLMs）在输出中展现出显著的知识，但其错误输出是否源于知识缺乏或故意虚假常常不明确。本文研究了指令性不诚实，明确提示LLaMA-2-70b-chat撒谎。我们通过提示工程找出最能诱导撒谎行为的提示，并利用机制可解释性方法定位这种行为在网络中的发生位置。使用线性探测和激活修补，我们定位了五个在撒谎中显得尤为重要的层，并发现仅46个注意力头能够使撒谎模型转而诚实回答。我们的干预在多种提示和数据集划分中表现出良好的鲁棒性。总体而言，我们的工作为理解LLMs中的不诚实提供了更深刻的见解，以期望能够加以防止。
🔬 方法详解
问题定义：本文旨在解决大型语言模型输出中的不诚实行为，现有方法未能有效区分知识缺乏与故意撒谎的情况。
核心思路：通过精心设计的提示诱导模型撒谎，并利用机制可解释性方法分析其内部行为，以便定位撒谎的具体网络层。
技术框架：研究分为几个主要阶段：首先进行提示工程以诱导撒谎，然后使用线性探测和激活修补技术定位关键层和注意力头，最后验证干预的有效性。
关键创新：本研究首次明确定位了在大型语言模型中与撒谎行为相关的特定网络层和注意力头，提供了新的干预手段。
关键设计：在实验中，使用了多种提示和数据集划分，确保了干预措施的鲁棒性，关键参数包括选择的注意力头和激活修补策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过针对46个特定注意力头的干预，模型在多种提示下能够显著提高诚实回答的比例，展现出良好的鲁棒性，推动了对不诚实行为的理解和控制。
🎯 应用场景
该研究的潜在应用领域包括教育、心理学和人机交互等，能够帮助开发更可信的语言模型，减少虚假信息的传播。未来，研究成果可用于改进模型的训练方法，增强其在真实场景中的表现和可靠性。
📄 摘要（原文）
Large language models (LLMs) demonstrate significant knowledge through their outputs, though it is often unclear whether false outputs are due to a lack of knowledge or dishonesty. In this paper, we investigate instructed dishonesty, wherein we explicitly prompt LLaMA-2-70b-chat to lie. We perform prompt engineering to find which prompts best induce lying behavior, and then use mechanistic interpretability approaches to localize where in the network this behavior occurs. Using linear probing and activation patching, we localize five layers that appear especially important for lying. We then find just 46 attention heads within these layers that enable us to causally intervene such that the lying model instead answers honestly. We show that these interventions work robustly across many prompts and dataset splits. Overall, our work contributes a greater understanding of dishonesty in LLMs so that we may hope to prevent it.