Efficient Tool Use with Chain-of-Abstraction Reasoning

📄 arXiv: 2401.17464v3 📥 PDF

作者: Silin Gao, Jane Dwivedi-Yu, Ping Yu, Xiaoqing Ellen Tan, Ramakanth Pasunuru, Olga Golovneva, Koustuv Sinha, Asli Celikyilmaz, Antoine Bosselut, Tianlu Wang

分类: cs.CL

发布日期: 2024-01-30 (更新: 2025-01-08)

💡 一句话要点

提出链式抽象推理方法以提升多步推理中的工具使用效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多步推理 工具调用 链式抽象 推理效率 智能助手 自动问答

📋 核心要点

  1. 现有方法在多步推理中调用工具时效率低下，导致推理延迟和准确性不足。
  2. 本文提出的链式抽象方法通过抽象占位符解码推理链，进而调用工具，提升了推理的通用性和效率。
  3. 实验结果显示，使用该方法的LLM在多个测试集上表现优异，准确率提升约6%，推理速度提高约1.4倍。

📝 摘要（中文）

为了实现与人类期望一致的推理，大型语言模型（LLMs）需要将推理与现实世界知识相结合。工具可以帮助LLMs获取外部知识，但在多步推理问题中，如何高效地调用工具仍然面临挑战。本文提出了一种新方法——链式抽象（CoA），通过先解码抽象占位符的推理链，再调用领域工具来具体化每个推理链，从而提高LLMs的推理能力和工具使用效率。实验结果表明，该方法在数学推理和维基问答领域的表现优于现有基线，QA准确率平均提高约6%，推理速度平均提升约1.4倍。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多步推理中高效调用工具的挑战。现有方法在处理复杂的工具调用时，往往导致推理延迟和准确性不足。

核心思路：链式抽象方法通过引入抽象占位符，先解码推理链，再通过具体知识填充这些占位符，从而实现更灵活和高效的工具调用。这种设计使得模型能够学习更通用的推理策略，适应不同领域的知识变化。

技术框架：该方法的整体架构包括两个主要阶段：第一阶段是解码推理链，生成抽象的占位符；第二阶段是调用领域工具，填充具体知识以实现推理链的具体化。

关键创新：最重要的创新点在于通过抽象占位符的使用，使得推理过程与工具调用相互独立并行进行，显著减少了推理延迟。这与传统的线性推理和工具调用方式有本质区别。

关键设计：在模型训练中，采用了特定的损失函数来优化推理链的生成和工具调用的准确性。同时，模型结构上进行了调整，以支持并行解码和工具调用的流程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，链式抽象方法在数学推理和维基问答领域的表现优于现有的链式思维和工具增强基线，QA准确率平均提高约6%。此外，使用该方法的LLM推理速度平均提升约1.4倍，显示出更高的工具使用效率。

🎯 应用场景

该研究的潜在应用领域包括教育、自动问答系统和智能助手等。通过提升大型语言模型在多步推理中的工具使用效率，可以显著改善用户体验和系统响应速度，推动智能系统在复杂任务中的应用。未来，该方法可能会在更广泛的领域中得到应用，促进人机交互的智能化进程。

📄 摘要（原文）

To achieve faithful reasoning that aligns with human expectations, large language models (LLMs) need to ground their reasoning to real-world knowledge (e.g., web facts, math and physical rules). Tools help LLMs access this external knowledge, but there remains challenges for fine-tuning LLM agents (e.g., Toolformer) to invoke tools in multi-step reasoning problems, where inter-connected tool calls require holistic and efficient tool usage planning. In this work, we propose a new method for LLMs to better leverage tools in multi-step reasoning. Our method, Chain-of-Abstraction (CoA), trains LLMs to first decode reasoning chains with abstract placeholders, and then call domain tools to reify each reasoning chain by filling in specific knowledge. This planning with abstract chains enables LLMs to learn more general reasoning strategies, which are robust to shifts of domain knowledge (e.g., math results) relevant to different reasoning questions. It also allows LLMs to perform decoding and calling of external tools in parallel, which avoids the inference delay caused by waiting for tool responses. In mathematical reasoning and Wiki QA domains, we show that our method consistently outperforms previous chain-of-thought and tool-augmented baselines on both in-distribution and out-of-distribution test sets, with an average ~6% absolute QA accuracy improvement. LLM agents trained with our method also show more efficient tool use, with inference speed being on average ~1.4x faster than baseline tool-augmented LLMs.