Large Language Models are Contrastive Reasoners

📄 arXiv: 2403.08211v3 📥 PDF

作者: Liang Yao

分类: cs.CL, cs.AI

发布日期: 2024-03-13 (更新: 2025-02-17)

期刊: Expert Systems With Applications 301 (2026) 130407

DOI: 10.1016/j.eswa.2025.130407

🔗 代码/项目: GITHUB

💡 一句话要点

提出对比提示方法以提升大语言模型的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对比提示 大语言模型 推理能力 零-shot学习 算术推理 常识推理 符号推理

📋 核心要点

  1. 现有的提示方法在复杂推理任务中表现不足，尤其是在缺乏手工设计示例的情况下。
  2. 本文提出的对比提示方法通过简单的结构设计，显著提升了大语言模型的推理能力。
  3. 实验结果显示，使用对比提示后，模型在多个推理任务上的表现有了显著提升，尤其是在GSM8K和AQUA-RAT数据集上。

📝 摘要（中文）

提示方法在增强预训练大语言模型（LLMs）能力方面起着关键作用。本文探讨了对比提示（CP）如何显著提高大语言模型进行复杂推理的能力。通过在模型回答前简单添加“让我们给出一个正确答案和一个错误答案”，我们展示了LLMs作为对比推理者的潜力。实验表明，零-shot对比提示在算术、常识和符号推理任务上显著提升了标准零-shot提示的表现，例如在GSM8K上将准确率从35.9%提高到88.8%，在AQUA-RAT上从41.3%提高到62.2%。该方法不仅在大多数算术和常识推理任务中超越了零-shot CoT和少量示例CoT，还能与现有提示方法无缝集成，取得更好的或相当的结果。代码可在https://github.com/yao8839836/cp获取。

🔬 方法详解

问题定义：本文旨在解决现有提示方法在复杂推理任务中表现不足的问题，尤其是在缺乏手工设计示例的情况下，LLMs的推理能力受到限制。

核心思路：论文提出的对比提示方法通过在模型回答前添加“让我们给出一个正确答案和一个错误答案”，来引导模型进行更有效的推理。这种设计旨在利用对比的方式增强模型的判断能力。

技术框架：整体架构包括对比提示的设计和模型的推理过程。首先，在输入提示中加入对比信息，然后模型根据提示生成答案，最后通过对比的方式评估答案的正确性。

关键创新：最重要的技术创新点在于对比提示的引入，这一方法与现有的零-shot和少量示例提示方法本质上不同，能够更有效地引导模型进行推理。

关键设计：在对比提示中，模型的输入结构经过精心设计，确保对比信息能够有效传递。此外，实验中使用的损失函数和评估标准也经过调整，以适应新的提示方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用对比提示后，GPT-4模型在GSM8K数据集上的准确率从35.9%提升至88.8%，在AQUA-RAT数据集上的准确率从41.3%提升至62.2%。该方法在大多数算术和常识推理任务中超越了现有的零-shot和少量示例方法，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化推理工具。通过提升大语言模型的推理能力，可以在更复杂的任务中实现更高的准确性，进而推动人工智能在实际应用中的发展与落地。

📄 摘要（原文）

Prompting methods play a crucial role in enhancing the capabilities of pre-trained large language models (LLMs). We explore how contrastive prompting (CP) significantly improves the ability of large language models to perform complex reasoning. We demonstrate that LLMs are decent contrastive reasoners by simply adding "Let's give a correct and a wrong answer." before LLMs provide answers. Experiments on various large language models show that zero-shot contrastive prompting improves the performance of standard zero-shot prompting on a range of arithmetic, commonsense, and symbolic reasoning tasks without any hand-crafted few-shot examples, such as increasing the accuracy on GSM8K from 35.9% to 88.8% and AQUA-RAT from 41.3% to 62.2% with the state-of-the-art GPT-4 model. Our method not only surpasses zero-shot CoT and few-shot CoT in most arithmetic and commonsense reasoning tasks but also can seamlessly integrate with existing prompting methods, resulting in improved or comparable results when compared to state-of-the-art methods. Our code is available at https://github.com/yao8839836/cp