Self-Discover: Large Language Models Self-Compose Reasoning Structures

📄 arXiv: 2402.03620v1 📥 PDF

作者: Pei Zhou, Jay Pujara, Xiang Ren, Xinyun Chen, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou, Swaroop Mishra, Huaixiu Steven Zheng

分类: cs.AI, cs.CL

发布日期: 2024-02-06

备注: 17 pages, 11 figures, 5 tables

💡 一句话要点

提出SELF-DISCOVER以解决复杂推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理结构 自我发现 复杂推理 性能提升

📋 核心要点

  1. 现有方法在处理复杂推理问题时，往往依赖于简单的提示，导致效果不佳。
  2. 论文提出的SELF-DISCOVER框架通过自我发现推理模块，构建明确的推理结构以提升推理能力。
  3. 实验结果表明，SELF-DISCOVER在多个基准测试中显著提升了模型性能，尤其是相较于传统方法。

📝 摘要（中文）

我们介绍了SELF-DISCOVER，这是一个通用框架，旨在帮助大型语言模型（LLMs）自我发现任务内在的推理结构，以应对典型提示方法难以处理的复杂推理问题。该框架的核心是自我发现过程，LLMs选择多个原子推理模块，如批判性思维和逐步思维，并将其组合成明确的推理结构，以便在解码过程中遵循。SELF-DISCOVER显著提升了GPT-4和PaLM 2在BigBench-Hard、基于环境的代理推理和数学等挑战性推理基准上的表现，提升幅度高达32%。此外，SELF-DISCOVER在推理密集型方法如CoT-Self-Consistency上也超越了20%以上，同时所需的推理计算量减少了10-40倍。最后，我们展示了自我发现的推理结构在不同模型家族中普遍适用，并与人类推理模式存在共性。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在复杂推理任务中表现不佳的问题，现有方法如简单提示无法有效引导模型进行深度推理。

核心思路：SELF-DISCOVER框架通过自我发现推理模块，允许模型选择和组合多个推理策略，从而形成一个结构化的推理过程，增强模型的推理能力。

技术框架：该框架包括自我发现过程、推理模块选择和组合、以及最终的推理结构生成。模型在解码时遵循这一结构，从而提高推理的连贯性和准确性。

关键创新：最重要的创新在于引入了自我发现机制，使模型能够动态选择适合当前任务的推理模块，这与传统的静态提示方法有本质区别。

关键设计：在设计中，模型通过评估不同推理模块的有效性来进行选择，使用的损失函数和参数设置旨在优化推理结构的生成和执行效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SELF-DISCOVER在多个推理基准上显著提升了模型性能，尤其是在BigBench-Hard等挑战性任务中，提升幅度高达32%。此外，相较于CoT-Self-Consistency，SELF-DISCOVER在推理计算量上减少了10-40倍，展现出更高的效率。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和复杂决策支持等。通过提升模型的推理能力，SELF-DISCOVER可以帮助用户更好地理解和解决复杂问题，具有重要的实际价值和未来影响。

📄 摘要（原文）

We introduce SELF-DISCOVER, a general framework for LLMs to self-discover the task-intrinsic reasoning structures to tackle complex reasoning problems that are challenging for typical prompting methods. Core to the framework is a self-discovery process where LLMs select multiple atomic reasoning modules such as critical thinking and step-by-step thinking, and compose them into an explicit reasoning structure for LLMs to follow during decoding. SELF-DISCOVER substantially improves GPT-4 and PaLM 2's performance on challenging reasoning benchmarks such as BigBench-Hard, grounded agent reasoning, and MATH, by as much as 32% compared to Chain of Thought (CoT). Furthermore, SELF-DISCOVER outperforms inference-intensive methods such as CoT-Self-Consistency by more than 20%, while requiring 10-40x fewer inference compute. Finally, we show that the self-discovered reasoning structures are universally applicable across model families: from PaLM 2-L to GPT-4, and from GPT-4 to Llama2, and share commonalities with human reasoning patterns.