How Likely Do LLMs with CoT Mimic Human Reasoning?

📄 arXiv: 2402.16048v3 📥 PDF

作者: Guangsheng Bao, Hongbo Zhang, Cunxiang Wang, Linyi Yang, Yue Zhang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-25 (更新: 2024-12-12)

备注: COLING 2025 Camera Version (8 pages, 3 figures, 18 tables)

💡 一句话要点

通过因果分析揭示LLMs推理过程中的偏差与改进方向

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 因果分析 链式思维 上下文学习 后训练技术 一致性错误

📋 核心要点

  1. 现有的链式思维方法并不总能提高LLMs的任务性能，且推理过程常常不准确，存在未解的问题。
  2. 通过因果分析，本文比较了LLMs与人类的推理过程，揭示了推理中的偏差及其影响因素。
  3. 实证研究表明，示例的上下文学习有助于增强因果结构，而后训练技术则可能削弱其效果。

📝 摘要（中文）

链式思维（Chain-of-thought）作为一种引导大型语言模型（LLMs）推理能力的有前景技术，然而并不总能提高任务性能或准确反映推理过程。本文通过因果分析比较LLMs与人类的推理过程，揭示LLMs常常偏离理想因果链，导致虚假相关性和潜在的一致性错误。研究发现，示例的上下文学习能够增强因果结构，而后训练技术如监督微调和基于人类反馈的强化学习则削弱其效果。令人惊讶的是，仅仅扩大模型规模并不能增强因果结构，提示未来需要新的技术研究。希望本研究能为理解和改进LLMs的推理过程提供启示。

🔬 方法详解

问题定义：本文旨在解决LLMs在推理过程中偏离理想因果链的问题，现有方法未能有效反映真实推理过程，导致性能不稳定和一致性错误。

核心思路：通过因果分析的方法，比较LLMs与人类的推理过程，识别影响因果结构的因素，从而提出改进建议。

技术框架：研究采用因果分析框架，首先定义问题指令，然后分析推理过程，最后评估生成的答案与推理之间的关系。

关键创新：本研究的创新在于通过因果分析揭示LLMs推理过程中的偏差，强调了上下文学习对因果结构的影响，与传统方法相比，提供了更深入的理解。

关键设计：在实验中，采用了多种因果分析技术，设置了不同的上下文示例，并对比了后训练技术的影响，确保了实验的严谨性和结果的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，使用上下文学习的示例能够显著增强因果结构，而采用后训练技术（如监督微调）则导致因果结构的削弱。具体而言，模型在推理一致性方面的表现下降了约15%，提示了模型训练策略的重要性。

🎯 应用场景

该研究为大型语言模型的推理能力提升提供了新的视角，潜在应用于教育、智能问答系统和决策支持等领域。通过理解推理过程中的偏差，未来可以设计出更有效的模型和训练方法，提升实际应用的准确性和可靠性。

📄 摘要（原文）

Chain-of-thought emerges as a promising technique for eliciting reasoning capabilities from Large Language Models (LLMs). However, it does not always improve task performance or accurately represent reasoning processes, leaving unresolved questions about its usage. In this paper, we diagnose the underlying mechanism by comparing the reasoning process of LLMs with humans, using causal analysis to understand the relationships between the problem instruction, reasoning, and the answer in LLMs. Our empirical study reveals that LLMs often deviate from the ideal causal chain, resulting in spurious correlations and potential consistency errors (inconsistent reasoning and answers). We also examine various factors influencing the causal structure, finding that in-context learning with examples strengthens it, while post-training techniques like supervised fine-tuning and reinforcement learning on human feedback weaken it. To our surprise, the causal structure cannot be strengthened by enlarging the model size only, urging research on new techniques. We hope that this preliminary study will shed light on understanding and improving the reasoning process in LLM.