Chain-of-Thought Unfaithfulness as Disguised Accuracy

📄 arXiv: 2402.14897v3 📥 PDF

作者: Oliver Bentham, Nathan Stringham, Ana Marasović

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-22 (更新: 2024-06-21)

备注: TMLR accepted paper camera-ready version. First two authors contributed equally. 8 pages main, 13 pages appendix

💡 一句话要点

提出链式思维不可信度作为隐性准确性评估方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 大型语言模型 可信度评估 归一化指标 模型规模

📋 核心要点

  1. 现有方法在评估大型语言模型的链式思维生成的可信度时存在不足，特别是对不同规模模型的适用性。
  2. 论文通过复制实验，提出了一种归一化的可信度指标，以更准确地评估模型的输出与其内部计算的一致性。
  3. 实验结果显示，归一化后的可信度指标与模型的准确性高度相关，质疑了传统可信度评估方法的有效性。

📝 摘要（中文）

理解链式思维（CoT）生成与大型语言模型（LLM）内部计算的一致性，对于判断LLM输出的可信度至关重要。Lanham等人（2023）提出了一种度量模型对其CoT依赖程度的指标，发现特定模型规模下，LLM的可信度呈现先增后减的关系。本文评估这一结果是否适用于所有LLM，并在不同模型家族中复制实验，发现经过归一化处理后，小型模型的不可信度显著降低，且归一化后的可信度指标与准确性高度相关，质疑其作为可信度评估的有效性。

🔬 方法详解

问题定义：本文旨在解决链式思维生成的可信度评估问题，现有方法未能充分考虑模型规模对可信度的影响，导致评估结果不够准确。

核心思路：通过归一化处理模型的可信度指标，考虑模型对特定答案选择的偏向性，从而更准确地反映模型的真实表现。

技术框架：研究采用了多种模型家族进行实验，重点关注模型规模与可信度之间的关系，设计了归一化的可信度评估流程。

关键创新：提出了一种新的归一化可信度指标，该指标与模型的准确性高度相关，挑战了传统的可信度评估方法的有效性。

关键设计：在实验中，采用了不同规模的模型进行对比，特别关注了模型的偏向性，并通过统计分析验证了归一化指标的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在特定条件下，归一化后的可信度指标与模型的准确性呈现强相关性（$R^2$=0.74），小型模型的不可信度显著降低，挑战了传统的可信度评估方法。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过改进的可信度评估方法，可以增强用户对LLM输出的信任，推动其在实际应用中的广泛采用。未来，该方法可能影响模型设计和评估标准的制定。

📄 摘要（原文）

Understanding the extent to which Chain-of-Thought (CoT) generations align with a large language model's (LLM) internal computations is critical for deciding whether to trust an LLM's output. As a proxy for CoT faithfulness, Lanham et al. (2023) propose a metric that measures a model's dependence on its CoT for producing an answer. Within a single family of proprietary models, they find that LLMs exhibit a scaling-then-inverse-scaling relationship between model size and their measure of faithfulness, and that a 13 billion parameter model exhibits increased faithfulness compared to models ranging from 810 million to 175 billion parameters in size. We evaluate whether these results generalize as a property of all LLMs. We replicate the experimental setup in their section focused on scaling experiments with three different families of models and, under specific conditions, successfully reproduce the scaling trends for CoT faithfulness they report. However, after normalizing the metric to account for a model's bias toward certain answer choices, unfaithfulness drops significantly for smaller less-capable models. This normalized faithfulness metric is also strongly correlated ($R^2$=0.74) with accuracy, raising doubts about its validity for evaluating faithfulness.