RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation

📄 arXiv: 2403.05313v1 📥 PDF

作者: Zihao Wang, Anji Liu, Haowei Lin, Jiaqi Li, Xiaojian Ma, Yitao Liang

分类: cs.CL, cs.AI

发布日期: 2024-03-08

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出检索增强思维以提升长时生成任务中的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时生成 信息检索 推理能力 幻觉现象 动态修正 大型语言模型 代码生成 创意写作

📋 核心要点

  1. 现有方法在长时生成任务中常常面临推理能力不足和幻觉现象严重的问题。
  2. 论文提出的检索增强思维（RAT）方法，通过信息检索迭代修正思维链，提升生成质量。
  3. 实验结果表明，RAT在多个长时生成任务中显著提高了模型的表现，尤其在具身任务规划中提升幅度达到42.78%。

📝 摘要（中文）

本研究探讨了如何通过信息检索迭代修正思维链，从而显著提升大型语言模型在长时生成任务中的推理与生成能力，同时大幅减轻幻觉现象。提出的检索增强思维（RAT）方法在初始零-shot 连锁思维生成后，逐步修正每个思维步骤，结合与任务查询、当前及过去思维步骤相关的信息。将RAT应用于GPT-3.5、GPT-4和CodeLLaMA-7b，显著提升了它们在多种长时生成任务中的表现，代码生成平均评分提高了13.63%，数学推理提高了16.96%，创意写作提高了19.2%，而具身任务规划则提高了42.78%。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在长时生成任务中推理能力不足和幻觉现象严重的问题。现有方法往往依赖于初始生成的思维链，缺乏动态修正机制，导致生成结果的准确性和一致性不足。

核心思路：论文提出的检索增强思维（RAT）方法，通过在生成过程中引入信息检索，逐步修正思维链的每个步骤，从而提升推理能力和生成质量。这种设计能够有效利用外部信息，增强模型的上下文理解能力。

技术框架：RAT方法的整体架构包括三个主要阶段：首先生成初始的零-shot 连锁思维；然后通过信息检索获取与任务相关的信息；最后逐步修正每个思维步骤，结合检索到的信息进行优化。

关键创新：RAT的核心创新在于其动态修正机制，通过信息检索来增强思维链的准确性和一致性。这一方法与传统的静态生成方法本质上不同，后者通常缺乏对生成过程的实时调整能力。

关键设计：在RAT中，关键的参数设置包括检索信息的相关性阈值和思维修正的迭代次数。此外，损失函数的设计也考虑了生成结果的多样性和准确性，以确保最终输出的质量。整体网络结构则结合了检索模块与生成模块的协同工作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RAT方法在多个长时生成任务中均取得了显著提升，具体表现为代码生成平均评分提高了13.63%，数学推理提高了16.96%，创意写作提高了19.2%，具身任务规划则提升了42.78%。这些结果表明RAT在增强模型推理能力方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括代码生成、数学推理、创意写作及具身任务规划等。通过提升大型语言模型的推理能力，RAT方法可以在教育、软件开发、内容创作等多个行业中发挥重要作用，未来可能推动智能助手和自动化系统的进一步发展。

📄 摘要（原文）

We explore how iterative revising a chain of thoughts with the help of information retrieval significantly improves large language models' reasoning and generation ability in long-horizon generation tasks, while hugely mitigating hallucination. In particular, the proposed method -- retrieval-augmented thoughts (RAT) -- revises each thought step one by one with retrieved information relevant to the task query, the current and the past thought steps, after the initial zero-shot CoT is generated. Applying RAT to GPT-3.5, GPT-4, and CodeLLaMA-7b substantially improves their performances on various long-horizon generation tasks; on average of relatively increasing rating scores by 13.63% on code generation, 16.96% on mathematical reasoning, 19.2% on creative writing, and 42.78% on embodied task planning. The demo page can be found at https://craftjarvis.github.io/RAT