Focus on Your Question! Interpreting and Mitigating Toxic CoT Problems in Commonsense Reasoning

📄 arXiv: 2402.18344v2 📥 PDF

作者: Jiachun Li, Pengfei Cao, Chenhao Wang, Zhuoran Jin, Yubo Chen, Daojian Zeng, Kang Liu, Jun Zhao

分类: cs.CL, cs.AI

发布日期: 2024-02-28 (更新: 2024-06-27)

备注: Accepted as a long paper to ACL 2024 Main, 25 pages, 22 figures

💡 一句话要点

提出RIDERS以解决Commonsense推理中的Toxic CoT问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 常识推理 链式思维 信息丢失 残差解码 序列位置交换 大型语言模型 自然语言处理 人工智能

📋 核心要点

  1. 现有的链式思维方法在常识推理中表现出色，但却引发了Toxic CoT问题，即原本正确的答案变为错误。
  2. 论文提出RIDERS方法，通过残差解码和序列位置交换，弥补模型在推理过程中丢失的信息。
  3. 实验结果显示，RIDERS方法有效降低了Toxic CoT问题，并提升了常识推理的整体性能，具有显著的实用价值。

📝 摘要（中文）

大型语言模型在增强方法如链式思维（CoT）下展现出高水平的常识推理能力。然而，研究发现这些方法导致大量原本正确的答案变为错误，称之为Toxic CoT问题。为了解释和缓解这一问题，论文利用归因追踪和因果追踪方法探讨了LLM在CoT推理过程中的内部工作机制。研究表明，模型在生成推理或答案时，从问题中丢失了信息。基于这些发现，提出了一种新方法RIDERS（残差解码与序列位置交换），有效弥补了模型在解码和序列位置上的信息缺失。通过在多个常识推理基准上的广泛实验，验证了该方法显著降低了Toxic CoT问题（减少23.6%），同时提升了模型的整体常识推理性能（提高5.5%）。

🔬 方法详解

问题定义：论文要解决的具体问题是Toxic CoT问题，即在使用链式思维方法时，模型生成的答案出现错误，导致信息丢失。现有方法未能有效处理这一问题，影响了推理的准确性。

核心思路：论文的核心解决思路是通过RIDERS方法，结合残差解码和序列位置交换，来弥补模型在推理过程中丢失的信息。这样的设计旨在增强模型对问题的关注，减少信息流失。

技术框架：整体架构包括两个主要模块：残差解码模块和序列位置交换模块。残差解码模块负责在解码过程中保留更多信息，而序列位置交换模块则通过调整输入序列的位置来优化信息流动。

关键创新：最重要的技术创新点在于RIDERS方法的提出，它通过结合解码和序列位置的调整，显著改善了模型在常识推理中的表现。这与传统的链式思维方法有本质区别，后者未能有效处理信息丢失问题。

关键设计：在关键设计方面，RIDERS方法采用了特定的损失函数来优化信息保留，同时在网络结构上进行了调整，以确保残差信息能够有效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RIDERS方法显著降低了Toxic CoT问题的发生率，减少幅度达到23.6%。同时，模型的整体常识推理性能也提升了5.5%，显示出该方法在实际应用中的有效性和潜力。

🎯 应用场景

该研究具有广泛的应用场景，尤其在自然语言处理、智能问答系统和对话生成等领域。通过提升模型的常识推理能力，可以显著改善人机交互的质量和准确性，未来可能推动更智能的AI助手和自动化系统的发展。

📄 摘要（原文）

Large language models exhibit high-level commonsense reasoning abilities, especially with enhancement methods like Chain-of-Thought (CoT). However, we find these CoT-like methods lead to a considerable number of originally correct answers turning wrong, which we define as the Toxic CoT problem. To interpret and mitigate this problem, we first utilize attribution tracing and causal tracing methods to probe the internal working mechanism of the LLM during CoT reasoning. Through comparisons, we prove that the model exhibits information loss from the question over the shallow attention layers when generating rationales or answers. Based on the probing findings, we design a novel method called RIDERS (Residual decodIng and sERial-position Swap), which compensates for the information deficit in the model from both decoding and serial-position perspectives. Through extensive experiments on multiple commonsense reasoning benchmarks, we validate that this method not only significantly eliminates Toxic CoT problems (decreased by 23.6%), but also effectively improves the model's overall commonsense reasoning performance (increased by 5.5%).