It's Not Easy Being Wrong: Large Language Models Struggle with Process of Elimination Reasoning

📄 arXiv: 2311.07532v3 📥 PDF

作者: Nishant Balepur, Shramay Palta, Rachel Rudinger

分类: cs.CL

发布日期: 2023-11-13 (更新: 2024-06-07)

备注: ACL 2024 (Findings)

💡 一句话要点

提出过程消除推理以增强大语言模型的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 过程消除 链式思维 错误分析 自一致性 医学诊断 科学推理

📋 核心要点

  1. 现有方法在推理错误答案时的有效性尚未得到充分探索，导致LLMs在某些任务中表现不佳。
  2. 本文提出结合COT的过程消除（PoE）方法，要求LLMs推理错误选项，从而提高自一致性和可解释性。
  3. 实验结果显示，PoE策略的表现始终低于选择正确答案的策略，且两者的一致性较低，提示未来研究方向。

📝 摘要（中文）

链式思维提示（COT）可以帮助大型语言模型（LLMs）推理出正确答案，但其在推理错误答案方面的有效性尚未探索。本文提出结合COT的过程消除（PoE）方法，要求LLMs在多项选择题中推理错误选项。我们评估了GPT-3.5、LLaMA-2和Falcon在四个常识和科学推理数据集上执行PoE与COT的能力。结果发现，PoE策略的表现始终低于选择正确答案的策略，且这两种策略的一致性低于各自的自一致性。为进一步研究这些问题，我们进行了错误分析并提出未来工作的建议。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理错误答案时的不足，现有方法主要集中于选择正确答案，导致在某些应用场景中表现不佳。

核心思路：提出结合链式思维提示（COT）与过程消除（PoE）的方法，要求模型在多项选择题中推理错误选项，以增强其推理能力和自一致性。

技术框架：整体架构包括数据集准备、模型训练与评估三个主要阶段。首先，构建包含正确与错误选项的数据集；其次，利用COT提示训练模型进行推理；最后，评估模型在不同数据集上的表现。

关键创新：最重要的创新在于将过程消除推理引入到大型语言模型的训练中，探索其在推理错误答案时的有效性，这与传统方法的单一正确答案选择形成鲜明对比。

关键设计：在模型训练中，采用特定的损失函数来平衡正确与错误答案的推理，设置多样化的参数以增强模型的泛化能力，确保模型能够有效地处理多种类型的推理任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合COT的过程消除策略在四个数据集上的表现始终低于选择正确答案的策略，且两者的一致性低于各自的自一致性。这一发现提示了当前LLMs在处理错误选项时的局限性，为未来研究提供了重要的方向。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、教育评估和智能问答系统等。通过提高模型在推理错误答案时的能力，能够增强系统的可解释性和可靠性，从而在实际应用中提供更为准确的决策支持。未来，该方法可能对各种需要复杂推理的任务产生深远影响。

📄 摘要（原文）

Chain-of-thought (COT) prompting can help large language models (LLMs) reason toward correct answers, but its efficacy in reasoning toward incorrect answers is unexplored. This process of elimination (PoE), when used with COT, can enhance self-consistency, interpretability, and tasks such as medical diagnoses of exclusion. Thus, we propose PoE with COT, where LLMs must reason toward incorrect options on multiple-choice questions. We evaluate the ability of GPT-3.5, LLaMA-2, and Falcon to perform PoE with COT on a total of four commonsense and scientific reasoning datasets. We find that the strategy of PoE always underperforms the strategy of choosing the correct answer. The agreement of these strategies is also lower than the self-consistency of each strategy. To study these issues further, we conduct error analyses and give suggestions for future work.