Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge

📄 arXiv: 2402.14310v1 📥 PDF

作者: Jinlan Fu, Shenzhen Huangfu, Hang Yan, See-Kiong Ng, Xipeng Qiu

分类: cs.CL

发布日期: 2024-02-22

备注: 18 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出Hint-before-Solving Prompting以提升LLMs的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 提示方法 HSP 知识利用 机器学习 自然语言处理

📋 核心要点

  1. 现有的LLMs在推理过程中未能高效利用其编码的知识，导致推理准确性不足。
  2. 本文提出的HSP方法通过生成提示来引导模型，帮助其在解决问题时进行更有效的推理。
  3. 实验结果显示，HSP在多种推理任务中显著提升了模型的准确性，如Llama2-70B-Chat在CoT提示下提高了9.7的准确率。

📝 摘要（中文）

大型语言模型（LLMs）在多个领域展示了显著的泛化能力。然而，尽管其知识丰富，LLMs在有效利用编码知识以发展准确且合逻辑的推理过程中仍面临挑战。为了解决这一问题，本文提出了Hint-before-Solving Prompting（HSP），该方法引导模型生成解决问题的提示（如特定知识或关键思想），然后生成包含中间推理步骤的解决方案。通过在6个推理基准和4个开源LLMs上的广泛实验，结果表明HSP能有效提高推理任务的准确性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理过程中未能有效利用其编码知识的问题。现有方法在生成解决方案时缺乏引导，导致推理过程不够准确和逻辑性不足。

核心思路：HSP方法的核心思想是通过生成提示来引导模型，帮助其在解决问题时进行更有效的推理。该方法与现有的提示方法（如Chain-of-Thought）是正交的，可以与多种提示方法结合使用。

技术框架：HSP的整体架构包括提示生成和解决方案生成两个主要阶段。首先，模型生成与问题相关的提示，然后基于这些提示生成包含中间推理步骤的最终解决方案。

关键创新：HSP的主要创新在于通过提示引导模型的推理过程，与传统的直接生成解决方案的方法相比，能够显著提高推理的准确性和逻辑性。

关键设计：在实验中，HSP与多种提示方法结合使用，特别是在CoT提示下，采用高质量的提示增强技术，优化了模型的推理性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HSP在推理任务中显著提高了模型的准确性。例如，Llama2-70B-Chat在应用HSP后，准确率提升了9.7。此外，基于HSP构建的HSPMATH数据集使得Llemma-7B的准确率达到了64.3，超越了GPT-3.5和WizardMath-13B。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化推理等。通过提升LLMs的推理能力，HSP可以在需要复杂推理和逻辑分析的场景中发挥重要作用，推动智能助手和自动化决策系统的发展。

📄 摘要（原文）

Large Language Models (LLMs) have recently showcased remarkable generalizability in various domains. Despite their extensive knowledge, LLMs still face challenges in efficiently utilizing encoded knowledge to develop accurate and logical reasoning processes. To mitigate this problem, we introduced Hint-before-Solving Prompting (HSP), which guides the model to generate hints (e.g., specific knowledge or key ideas) for solving the problem and then generate solutions containing intermediate reasoning steps. Since HSP is orthogonal to prompting methods (e.g., Chain-of-Thought (CoT)), we applied HSP to CoT, Least-to-Most, Plan-and-Solve, and Standard promptings. The results of extensive experiments on 6 reasoning benchmarks and 4 open-source LLMs demonstrate that HSP can effectively improve the accuracy of reasoning tasks: (1) By applying high-quality hint-enhanced HSP to CoT prompting, Llama2-70B-Chat shows an improvement of 9.7. (2) Beyond exploring training-free LLM capabilities, we built the HSPMATH dataset based on HSP and fine-tuned Llemma-7B, reaching 64.3 accuracy, surpassing GPT-3.5 and WizardMath-13B. We make our code and dataset publicly available at \url{https://github.com/jinlanfu/HSP}.