Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments

📄 arXiv: 2608.16747v1 📥 PDF

作者: Adam Karvonen, Euan Ong, Subhash Kantamneni, Samuel Marks

分类: cs.LG, cs.AI

发布日期: 2026-08-17

💡 一句话要点

提出CHIVE以评估LLM行为解释的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 可解释性 反事实实验 模型行为 自动化分析

📋 核心要点

  1. 现有的LLM可解释性技术未能有效提升模型对反事实输入的预测能力，缺乏实用性。
  2. 提出CHIVE，通过反事实提示编辑识别和调查意外的模型行为，自动生成高质量的解释。
  3. 实验结果显示，常见可解释性技术未能提升预测能力，而CHIVE生成的数据在不同设置中表现良好。

📝 摘要（中文）

许多AI研究领域，如语言模型可解释性和思维链的可信度，旨在解释模型行为。然而，什么构成“良好”解释仍不明确。本文通过反事实可模拟性评估解释的有效性，提出了CHIVE（通过编辑进行反事实假设调查），一个新颖的代理管道，能够识别意外的模型行为并通过反事实提示编辑进行调查。这一方法生成了数千个高质量的自然发生模型行为的解释及其支持的反事实证据。研究发现，常见的LLM可解释性技术并未提升代理预测反事实模型行为的能力，同时CHIVE生成的反事实实验训练数据在多种分布外设置中具有良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有LLM可解释性技术在预测反事实输入时的不足，现有方法未能提供有效的解释和预测能力。

核心思路：通过引入CHIVE，利用反事实提示编辑来识别和分析模型的意外行为，从而生成高质量的解释。这种方法强调了反事实实验在理解模型行为中的重要性。

技术框架：CHIVE的整体架构包括两个主要模块：首先是意外行为识别模块，利用模型输出和输入的关系进行分析；其次是反事实提示编辑模块，通过编辑输入生成反事实示例以进行深入调查。

关键创新：CHIVE的最大创新在于其自动化的反事实实验生成能力，能够在自然环境中发现并解释模型行为，这与现有方法的手动分析方式形成鲜明对比。

关键设计：在设计上，CHIVE采用了特定的损失函数以优化反事实提示的生成，同时在网络结构上结合了多层次的特征提取，以增强模型对复杂行为的理解。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，常见的LLM可解释性技术未能提升代理对反事实模型行为的预测能力，且CHIVE生成的训练数据在多种分布外设置中表现出良好的泛化能力，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和教育技术等。通过提升对LLM行为的理解，CHIVE能够帮助开发更可靠的AI系统，增强用户信任，并推动可解释AI的发展。

📄 摘要（原文）

Many areas of AI research, such as language model interpretability and chain of thought faithfulness, seek to explain model behaviors. But what constitutes a "good" explanation? In this work, we evaluate explanations through the lens of counterfactual simulatability-whether the explanation is useful for predicting model behaviors on related counterfactual inputs. To this end, we introduce CHIVE (Counterfactual Hypothesis Investigation Via Edits), a novel agentic pipeline that identifies unexpected model behaviors in the wild and investigates them with counterfactual prompt edits. This yields thousands of high-quality explanations for naturally-occurring model behaviors along with supporting counterfactual evidence. We apply CHIVE in two ways. First, we evaluate whether common LLM interpretability techniques improve an agent's ability to predict counterfactual model behaviors. Surprisingly, we find no uplift from any of the interpretability techniques studied. Second, we use CHIVE to generate training data. We find that training models to predict outcomes of CHIVE-generated counterfactual experiments generalizes to various out-of-distribution settings. Overall, CHIVE automatically discovers explanations of naturally-occurring LLM behaviors, enabling us to evaluate and improve methods for explaining LLM behaviors.