How Do Humans Write Code? Large Models Do It the Same Way Too

📄 arXiv: 2402.15729v3 📥 PDF

作者: Long Li, Xuzheng He, Haozhe Wang, Linlin Wang, Liang He

分类: cs.AI, cs.CL, cs.PL

发布日期: 2024-02-24 (更新: 2024-10-16)

DOI: 10.18653/v1/2024.emnlp-main.267

💡 一句话要点

提出Human-Think Language以解决大型语言模型推理错误问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学推理 程序生成 强化学习 逻辑推理 自然语言处理 模型集成

📋 核心要点

  1. 现有的Program-of-Thought方法在数学推理任务中引入了更多的推理错误，影响了模型的准确性。
  2. 论文提出的Human-Think Language方法通过整合PoT和CoT，采用新的生成范式和强化学习策略，提升了代码生成的逻辑性。
  3. 实验结果表明，HTL在多个数学计算数据集上表现优异，且在非数学自然语言推理任务中也取得了显著进展。

📝 摘要（中文）

Program-of-Thought (PoT)方法在大型语言模型（LLMs）数学推理任务中逐渐取代了基于自然语言的Chain-of-Thought (CoT)方法，然而我们的评估发现，使用PoT会引入更多推理错误。为了解决这一问题，我们提出了Human-Think Language (HTL)，通过整合PoT和CoT的方法，采用全新的生成范式、关注注意力机制以及强化学习策略，显著提高了模型在数学计算数据集上的表现。实验结果显示，HTL在Llama-Base模型上平均提升6.5%，在Mistral-Base模型上提升4.3%，并在五个领域外数据集上表现出强大的迁移能力。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在数学推理任务中因使用Program-of-Thought方法而引入的推理错误问题，现有方法在逻辑和公式的准确性上存在不足。

核心思路：提出Human-Think Language (HTL)方法，通过结合PoT和CoT，利用全新的生成范式、关注注意力机制和强化学习策略，提升模型的推理能力和代码生成的逻辑性。

技术框架：HTL的整体架构包括三个主要模块：全CoT推理控制代码生成、关注注意力机制引导模型关注CoT推理、以及基于CoT和PoT响应准确性的强化学习策略。

关键创新：HTL的核心创新在于将全CoT推理与PoT结合，利用关注机制和强化学习有效减少重复推理步骤，显著提升了模型的推理准确性。

关键设计：在模型设计中，关注机制用于引导模型在PoT阶段关注CoT推理，强化学习则通过准确性作为奖励，优化了模型的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HTL在Llama-Base模型上平均提升了6.5%，在Mistral-Base模型上提升了4.3%。此外，HTL在五个领域外数据集上展现出强大的迁移能力，并在非数学自然语言推理任务中取得了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括编程辅助工具、教育领域的智能辅导系统以及需要高准确性推理的自动化决策系统。通过提升大型语言模型的推理能力，HTL有望在实际应用中提供更为可靠的支持，推动人工智能在复杂任务中的应用。

📄 摘要（原文）

Program-of-Thought (PoT) replaces natural language-based Chain-of-Thought (CoT) as the most popular method in Large Language Models (LLMs) mathematical reasoning tasks by utilizing external tool calls to circumvent computational errors. However, our evaluation of the GPT-4 and Llama series reveals that using PoT introduces more reasoning errors, such as incorrect formulas or flawed logic, compared to CoT. To address this issue, we propose Human-Think Language (HTL), which leverages a suite of strategies that help integrate PoT and CoT, encompassing: (1) a new generation paradigm that uses full CoT reasoning to control code generation. (2) Focus Attention, that directs model attention to the CoT reasoning during PoT to generate more logical code. (3) reinforcement learning that utilizes the accuracy of both CoT and PoT responses as rewards to prevent repetitive reasoning steps in LLMs when solving difficult math problems. Our method achieves an average improvement of 6.5% on the Llama-Base model and 4.3% on the Mistral-Base model across 8 mathematical calculation datasets. It also shows significant effectiveness on five out-of-domain datasets by controlling the model's information flow, exhibiting strong transferability. Additionally, HTL shows the most significant improvement in non-mathematical natural language inference task, contributing to a unified reasoning task framework