Premise Order Matters in Reasoning with Large Language Models

📄 arXiv: 2402.08939v3 📥 PDF

作者: Xinyun Chen, Ryan A. Chi, Xuezhi Wang, Denny Zhou

分类: cs.AI, cs.CL

发布日期: 2024-02-14 (更新: 2024-05-28)

备注: Published at ICML 2024. Xinyun and Ryan contribute equally

💡 一句话要点

研究表明前提顺序对大语言模型推理性能的重要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理任务 前提顺序 演绎推理 数学问题解决 性能评估 基准测试

📋 核心要点

  1. 现有的大语言模型在推理任务中表现出色，但对前提顺序的敏感性导致其在某些情况下性能下降。
  2. 论文提出通过优化前提的顺序来提升大语言模型在推理任务中的准确性，特别是在演绎推理中。
  3. 实验结果表明，前提顺序的变化可以导致超过30%的性能下降，且新基准R-GSM的引入进一步验证了这一现象。

📝 摘要（中文）

大语言模型（LLMs）在多个领域的推理任务中表现出色，但在前提顺序的影响下却显得脆弱。研究发现，前提的顺序对推理性能有显著影响，尤其是在演绎推理任务中，按照真实证明的顺序呈现前提可以显著提高模型的准确性。论文还发布了基于GSM8K的基准R-GSM，以评估数学问题解决中的顺序效应，结果显示准确性相较于原始基准有显著下降。

🔬 方法详解

问题定义：本论文旨在解决大语言模型在推理任务中对前提顺序敏感的问题。现有方法未能充分考虑前提顺序对推理结果的影响，导致模型在特定情况下表现不佳。

核心思路：论文的核心思路是通过研究前提的最佳顺序来提升模型的推理性能，尤其是在演绎推理任务中，确保前提顺序与真实证明一致。

技术框架：研究首先评估了不同大语言模型在演绎推理任务中的表现，随后引入了基准R-GSM，专注于数学问题解决中的前提顺序效应。

关键创新：最重要的创新点在于发现前提顺序对推理性能的显著影响，尤其是在演绎推理中，提供了新的视角来优化模型的输入结构。

关键设计：在实验中，模型的输入顺序被系统地调整，使用了多种大语言模型进行对比，评估了不同前提顺序下的准确性变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，前提顺序的变化导致模型性能下降超过30%。在引入新基准R-GSM后，数学问题解决的准确性也显著低于原始GSM8K基准，进一步验证了前提顺序的重要性。

🎯 应用场景

该研究的潜在应用领域包括教育、法律推理和科学研究等需要严谨推理的场景。通过优化前提顺序，可以提高大语言模型在这些领域的应用效果，提升决策支持系统的准确性和可靠性。

📄 摘要（原文）

Large language models (LLMs) have accomplished remarkable reasoning performance in various domains. However, in the domain of reasoning tasks, we discover a frailty: LLMs are surprisingly brittle to the ordering of the premises, despite the fact that such ordering does not alter the underlying task. In particular, we observe that LLMs achieve the best performance when the premise order aligns with the context required in intermediate reasoning steps. For example, in deductive reasoning tasks, presenting the premises in the same order as the ground truth proof in the prompt (as opposed to random ordering) drastically increases the model's accuracy. We first examine the effect of premise ordering on deductive reasoning on a variety of LLMs, and our evaluation shows that permuting the premise order can cause a performance drop of over 30%. In addition, we release the benchmark R-GSM, based on GSM8K, to examine the ordering effect for mathematical problem-solving, and we again observe a significant drop in accuracy, relative to the original GSM8K benchmark.