Synergy-of-Thoughts: Eliciting Efficient Reasoning in Hybrid Language Models

📄 arXiv: 2402.02563v4 📥 PDF

作者: Yu Shang, Yu Li, Fengli Xu, Yong Li

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-04 (更新: 2024-08-24)

备注: 19 pages, 16 figures, 12 tables

💡 一句话要点

提出思维协同机制以降低大语言模型的API成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 推理机制 API成本 思维协同 信心评估 反思推理 开放式任务

📋 核心要点

  1. 现有方法如链式思维和树状思维主要关注提升推理准确性，却未能有效控制API成本，限制了实际应用。
  2. 本文提出的思维协同机制利用小规模模型生成低成本直观思维，并通过信心评估器和反思推理机制进行优化。
  3. 实验结果显示，思维协同机制在六个推理任务中将API成本降低了38.3%-75.1%，同时提升了推理准确性和解的多样性。

📝 摘要（中文）

大型语言模型（LLMs）在多种任务中展现了令人印象深刻的能力，但高昂的API成本限制了其实际应用。以往的研究如链式思维（CoT）和树状思维（ToT）主要关注提升准确性，却忽视了API成本的快速增长。本文提出“思维协同”（SoT）机制，旨在释放不同规模混合LLMs的协同潜力以实现高效推理。SoT默认使用小规模语言模型生成多个低成本的直观思维，并通过信心评估器进行交叉评估，设定可控阈值以判断思维间的冲突。当直观思维存在冲突时，SoT将调用大型语言模型的反思推理来修正结果。实验表明，SoT显著降低了38.3%-75.1%的API成本，同时实现了最先进的推理准确性和解的多样性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理任务中面临的高API成本问题。现有方法如链式思维和树状思维虽然提升了准确性，但未能有效控制成本，尤其在开放式任务中尤为突出。

核心思路：论文提出的思维协同机制（SoT）通过结合不同规模的语言模型，利用小规模模型生成多个低成本的直观思维，模拟人类的直觉思维过程。通过信心评估器对这些思维进行交叉评估，决定是否需要调用大型模型进行反思推理。

技术框架：SoT框架包括多个模块：首先，小规模模型生成直观思维；其次，信心评估器对思维进行评估；最后，在存在冲突时，调用大型模型进行反思推理。该框架是模型无关的，能够灵活应用于多种现成的LLMs。

关键创新：最重要的创新在于引入了信心评估器和可控阈值机制，使得不同规模模型的协同工作得以实现，从而有效降低API成本并提升推理效果。这一设计与传统方法的单一模型推理方式有本质区别。

关键设计：在设计中，信心评估器的阈值设置是关键，能够有效判断直观思维的可靠性。此外，反思推理的调用机制确保了在必要时能够利用大型模型的推理能力，从而提升整体推理质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，思维协同机制在六个代表性推理任务中，API成本降低幅度达到38.3%-75.1%，在开放式任务中平均令token成本降低至69.1%。同时，该机制在推理准确性和解的多样性方面也达到了最先进的水平，显示出其优越性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、自动化内容生成和复杂决策支持等。通过降低API成本，思维协同机制能够使得大型语言模型在更多实际场景中得到应用，提升其商业价值和社会影响力。未来，该机制可能推动更高效的推理系统的开发，促进人工智能技术的普及与应用。

📄 摘要（原文）

Large language models (LLMs) have shown impressive emergent abilities in a wide range of tasks, but the associated expensive API cost greatly limits the real application. Previous works like chain-of-thought (CoT) and tree-of-thoughts (ToT) have predominately focused on enhancing accuracy, but overlook the rapidly increasing API cost, which could be particularly problematic for open-ended real-world tasks with huge solution spaces. Motivated by the dual process theory of human cognition, we propose "Synergy of Thoughts"(SoT) to unleash the synergistic potential of hybrid LLMs with different scales for efficient reasoning. By default, SoT uses smaller-scale language models to generate multiple low-cost intuitive thoughts, which resembles the parallel intuitions produced by System 1. We then design a confidence evaluator where the intuitive thoughts are cross-evaluated and introduce a controllable threshold mechanism to decide their mutual conflict. If these intuitive thoughts exhibit conflicts, SoT will invoke the reflective reasoning of scaled-up language models to emulate the intervention of System 2, which will override the intuitive thoughts and rectify the reasoning results. This framework is model-agnostic and training-free, which can be flexibly implemented with various off-the-shelf LLMs. Experiments on six representative reasoning tasks show that SoT substantially reduces the API cost by 38.3%-75.1%, and simultaneously achieves state-of-the-art reasoning accuracy and solution diversity. Notably, the average token cost reduction on open-ended tasks reaches up to 69.1%.