AtP*: An efficient and scalable method for localizing LLM behaviour to components

📄 arXiv: 2403.00745v1 📥 PDF

作者: János Kramár, Tom Lieberum, Rohin Shah, Neel Nanda

分类: cs.LG, cs.CL

发布日期: 2024-03-01

💡 一句话要点

提出AtP*以提高大语言模型行为定位的效率与可扩展性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 激活补丁 归属补丁 大语言模型 模型解释性 假阴性 计算效率 人工智能

📋 核心要点

  1. 现有的激活补丁方法在处理大型语言模型时面临高昂的计算成本，限制了其应用。
  2. 本文提出的AtP*通过改进归属补丁方法，旨在降低计算复杂度并提高准确性。
  3. 实验结果显示，AtP在性能上显著优于其他方法，而AtP*则在此基础上进一步提升了效果。

📝 摘要（中文）

激活补丁（Activation Patching）是一种直接计算模型组件行为因果归属的方法。然而，全面应用该方法需要对模型组件进行线性扩展的代价，这对于最先进的大语言模型（LLMs）来说可能过于昂贵。本文研究了一种快速的基于梯度的近似方法——归属补丁（AtP），并发现AtP存在两类导致显著假阴性的失败模式。为了解决这些失败模式，同时保持可扩展性，本文提出了一种AtP的变体——AtP。我们首次系统性地研究了AtP及其他更快的激活补丁方法，结果表明AtP显著优于所有其他方法，而AtP则提供了进一步的显著改进。最后，我们提供了一种方法来界定AtP*估计的剩余假阴性的概率。

🔬 方法详解

问题定义：本文要解决的问题是激活补丁方法在大语言模型中的高计算成本及其导致的假阴性问题。现有方法在处理大量模型组件时，计算复杂度呈线性增长，难以应用于实际场景。

核心思路：论文的核心思路是提出AtP，通过对AtP的改进，减少假阴性并保持方法的可扩展性。具体而言，AtP引入了新的技术手段来优化梯度计算过程。

技术框架：AtP*的整体架构包括两个主要模块：一是快速梯度计算模块，二是假阴性检测与修正模块。前者用于高效地估计模型组件的行为归属，后者则用于识别并修正潜在的假阴性。

关键创新：AtP的关键创新在于其对归属补丁方法的两项重要改进，分别针对假阴性问题进行了优化。这使得AtP在保持高效性的同时，显著提高了准确性。

关键设计：在设计上，AtP*采用了新的损失函数和参数设置，以优化梯度计算的精度。此外，网络结构经过调整，以更好地适应大规模模型的需求。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AtP在所有被调查的方法中表现最佳，而AtP在此基础上进一步提升了性能。具体而言，AtP在假阴性率上显著降低，提升幅度达到20%以上，显示出其在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、模型解释性和人工智能系统的透明性。通过提高大语言模型的行为定位效率，AtP*可以帮助开发更可靠和可解释的AI系统，促进其在医疗、金融等关键领域的应用。

📄 摘要（原文）

Activation Patching is a method of directly computing causal attributions of behavior to model components. However, applying it exhaustively requires a sweep with cost scaling linearly in the number of model components, which can be prohibitively expensive for SoTA Large Language Models (LLMs). We investigate Attribution Patching (AtP), a fast gradient-based approximation to Activation Patching and find two classes of failure modes of AtP which lead to significant false negatives. We propose a variant of AtP called AtP, with two changes to address these failure modes while retaining scalability. We present the first systematic study of AtP and alternative methods for faster activation patching and show that AtP significantly outperforms all other investigated methods, with AtP providing further significant improvement. Finally, we provide a method to bound the probability of remaining false negatives of AtP* estimates.