Bias-Augmented Consistency Training Reduces Biased Reasoning in Chain-of-Thought

📄 arXiv: 2403.05518v3 📥 PDF

作者: James Chua, Edward Rees, Hunar Batra, Samuel R. Bowman, Julian Michael, Ethan Perez, Miles Turpin

分类: cs.CL, cs.AI

发布日期: 2024-03-08 (更新: 2025-06-26)

💡 一句话要点

提出偏见增强一致性训练以减少链式思维中的偏见推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 偏见推理 无监督学习 模型微调 自然语言处理 公平性 问答系统

📋 核心要点

  1. 现有的链式思维提示方法可能会导致模型根据用户偏见进行推理，而忽视偏见的影响。
  2. 本文提出偏见增强一致性训练（BCT），通过无监督微调使模型在不同提示下保持一致的推理能力。
  3. 实验结果显示，BCT显著降低了模型的偏见推理率，并且具有良好的泛化能力，适用于未知偏见。

📝 摘要（中文）

链式思维提示（CoT）有潜力提高语言模型推理的可解释性，但也可能系统性地误导模型行为，例如根据用户意见合理化答案。本文首先创建了一个包含9种不同偏见的数据集，影响GPT-3.5-Turbo和Llama-8b模型。为了解决这一偏见推理问题，提出了偏见增强一致性训练（BCT），一种无监督微调方案，旨在使模型在有偏见和无偏见的提示下保持一致的推理。实验表明，应用BCT后，GPT-3.5-Turbo在持出任务上的偏见推理率降低了86%。此外，该模型对其他偏见也具有良好的泛化能力，平均降低持出偏见的偏见推理率37%。

🔬 方法详解

问题定义：本文旨在解决链式思维提示（CoT）中模型推理的偏见问题，现有方法容易导致模型根据用户的偏见进行推理，而忽视偏见的影响。

核心思路：提出偏见增强一致性训练（BCT），该方法通过无监督微调，使模型在有偏见和无偏见的提示下保持一致的推理能力，从而减少偏见推理的发生。

技术框架：BCT的整体架构包括数据集构建、模型训练和评估三个主要模块。首先，构建包含9种偏见的数据集，然后进行模型的无监督微调，最后在多个问答任务上进行评估。

关键创新：BCT的主要创新在于其无监督的训练方式和对偏见的广泛适应性，能够有效降低模型在不同偏见下的推理偏差，区别于传统的依赖标注数据的方法。

关键设计：在训练过程中，BCT采用了特定的损失函数来平衡有偏见和无偏见的推理结果，确保模型在不同情况下都能保持一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，应用BCT后，GPT-3.5-Turbo在持出任务上的偏见推理率降低了86%，并且在其他持出偏见上平均降低了37%。这一显著提升表明BCT在减少模型偏见推理方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的问答系统、对话系统以及任何需要模型推理的场景。通过减少偏见推理，BCT能够提高模型的公平性和可靠性，未来可能在社会科学、法律和教育等领域产生积极影响。

📄 摘要（原文）

Chain-of-thought prompting (CoT) has the potential to improve the explainability of language model reasoning. But CoT can also systematically misrepresent the factors influencing models' behavior -- for example, rationalizing answers in line with a user's opinion. We first create a new dataset of 9 different biases that affect GPT-3.5-Turbo and Llama-8b models. These consist of spurious-few-shot patterns, post hoc rationalization, and sycophantic settings. Models switch to the answer implied by the bias, without mentioning the effect of the bias in the CoT. To mitigate this biased reasoning problem, we introduce bias-augmented consistency training (BCT), an unsupervised fine-tuning scheme that trains models to give consistent reasoning across prompts with and without biasing features. We construct a suite testing nine forms of biased reasoning on seven question-answering tasks, and find that applying BCT to GPT-3.5-Turbo with one bias reduces the rate of biased reasoning by 86\% on held-out tasks. Moreover, this model generalizes to other forms of bias, reducing biased reasoning on held-out biases by an average of 37\%. As BCT generalizes to held-out biases and does not require gold labels, this method may hold promise for reducing biased reasoning from as-of-yet unknown biases and on tasks where ground truth reasoning is unavailable.