On the Self-Verification Limitations of Large Language Models on Reasoning and Planning Tasks
作者: Kaya Stechly, Karthik Valmeekam, Subbarao Kambhampati
分类: cs.AI
发布日期: 2024-02-12 (更新: 2024-08-03)
备注: arXiv admin note: text overlap with arXiv:2310.12397
💡 一句话要点
系统研究大型语言模型在推理与规划任务中的自我验证局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理能力 自我验证 外部验证 性能评估
📋 核心要点
- 现有方法对大型语言模型的推理能力存在过度乐观的假设，尤其是在自我验证和改进方面。
- 论文通过系统性实验，探讨了GPT-4在推理和规划任务中的自我批评与外部验证的效果。
- 实验结果显示，自我批评导致性能显著下降，而外部验证则带来显著提升，验证了外部验证的重要性。
📝 摘要（中文）
关于大型语言模型（LLMs）的推理能力存在显著的分歧。尽管最初对推理能力的乐观预期因大量反例而减弱，但仍有广泛的信念认为LLMs可以通过自我批评和迭代改进其解决方案。本文系统性地研究了迭代提示在推理和规划中的有效性，重点分析了GPT-4在24点游戏、图着色和STRIPS规划三个领域的表现。实验表明，自我批评导致显著性能下降，而外部验证则显著提升性能。简单的重新提示与有效验证者的结合也能保持大部分性能优势。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在推理和规划任务中的自我验证能力，现有方法过于依赖自我批评，未能有效提升性能。
核心思路：论文提出通过对比自我批评与外部验证的效果，系统性地分析其对模型性能的影响，强调外部验证的重要性。
技术框架：研究分为三个主要阶段：首先是模型自我批评其答案，其次是引入外部正确推理者进行验证，最后分析不同方法对性能的影响。
关键创新：最重要的创新在于系统性地比较自我批评与外部验证的效果，发现外部验证能显著提升模型性能，而自我批评则可能导致性能崩溃。
关键设计：实验中对模型的提示进行了精心设计，使用了不同的验证策略，并在多个任务上进行了性能评估，以确保结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4在自我批评情况下性能显著下降，而通过外部验证者进行验证时，性能提升幅度可达显著水平。简单的重新提示结合有效验证者也能保持大部分性能优势，表明外部验证的重要性。
🎯 应用场景
该研究为大型语言模型在推理和规划任务中的应用提供了重要的理论基础，特别是在需要高准确性和可靠性的场景中，如自动化决策系统、智能助手等。未来，研究结果可能推动更有效的验证机制的开发，从而提升模型的实际应用价值。
📄 摘要（原文）
There has been considerable divergence of opinion on the reasoning abilities of Large Language Models (LLMs). While the initial optimism that reasoning might emerge automatically with scale has been tempered thanks to a slew of counterexamples--ranging from multiplication to simple planning--there persists a wide spread belief that LLMs can self-critique and improve their own solutions in an iterative fashion. This belief seemingly rests on the assumption that verification of correctness should be easier than generation--a rather classical argument from computational complexity--which should be irrelevant to LLMs to the extent that what they are doing is approximate retrieval. In this paper, we set out to systematically investigate the effectiveness of iterative prompting in the context of reasoning and planning. We present a principled empirical study of the performance of GPT-4 in three domains: Game of 24, Graph Coloring, and STRIPS planning. We experiment both with the model critiquing its own answers and with an external correct reasoner verifying proposed solutions. In each case, we analyze whether the content of criticisms actually affects bottom line performance, and whether we can ablate elements of the augmented system without losing performance. We observe significant performance collapse with self-critique and significant performance gains with sound external verification. We also note that merely re-prompting with a sound verifier maintains most of the benefits of more involved setups.