Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning

📄 arXiv: 2401.10480v1 📥 PDF

作者: Yiwei Li, Peiwen Yuan, Shaoxiong Feng, Boyuan Pan, Xinglin Wang, Bin Sun, Heda Wang, Kan Li

分类: cs.CL, cs.AI

发布日期: 2024-01-19

备注: ICLR 2024

💡 一句话要点

提出ESC以降低自一致性多步推理的高成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自一致性 多步推理 早停机制 动态控制 性能优化 计算成本 自然语言处理 智能系统

📋 核心要点

  1. 现有的自一致性方法在多步推理任务中虽然有效，但需要多次采样，导致高昂的计算成本。
  2. 本文提出的早停自一致性（ESC）方法，通过简单的采样过程，显著降低了自一致性方法的成本，同时保持了推理性能。
  3. 实验结果显示，ESC在多个基准测试中减少了采样次数，如MATH减少33.8%，GSM8K减少80.1%，并且性能保持相对稳定。

📝 摘要（中文）

自一致性（SC）作为链式思维推理的解码策略，虽然在多步推理任务中显著提升了性能，但其高成本的多次采样限制了其应用。本文提出了一种简单且可扩展的采样过程——早停自一致性（ESC），在不牺牲性能的前提下，大幅降低了SC的成本。此外，ESC还引入了一种控制机制，能够根据不同任务和模型动态选择性能与成本的平衡。通过在算术、常识和符号推理等三类推理任务上的广泛实验，结果表明ESC在六个基准测试中显著减少了链式思维推理的平均采样次数，同时保持了相当的性能。

🔬 方法详解

问题定义：本文旨在解决自一致性（SC）方法在多步推理任务中因多次采样导致的高计算成本问题。现有方法在性能提升的同时，往往需要付出较高的时间和资源代价。

核心思路：提出早停自一致性（ESC）方法，通过优化采样过程，减少不必要的计算，从而降低成本。ESC设计了动态控制机制，以适应不同任务和模型的需求，平衡性能与成本。

技术框架：ESC的整体架构包括初始采样、动态评估和早停机制三个主要模块。初始采样生成多个候选解，动态评估模块根据当前任务的需求决定是否继续采样，早停机制则在达到预期性能时及时停止采样。

关键创新：ESC的主要创新在于引入了动态控制机制，使得在不同任务和模型下能够灵活调整性能与成本的平衡。这一设计与传统的固定采样策略形成鲜明对比，极大提高了效率。

关键设计：在参数设置上，ESC允许用户根据任务需求调整采样次数和停止条件。损失函数设计上，强调了性能与成本之间的权衡，确保在降低计算量的同时，保持推理的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ESC在六个基准测试中显著降低了链式思维推理的平均采样次数，具体表现为MATH减少33.8%，GSM8K减少80.1%，StrategyQA减少76.8%，CommonsenseQA减少78.5%，Coin Flip减少84.2%，Last Letters减少67.4%。同时，ESC在保持相对稳定性能的情况下，展现了其高效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和复杂决策支持系统等。通过降低多步推理的计算成本，ESC能够使得更广泛的应用场景受益，提升系统的响应速度和处理能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Self-consistency (SC) has been a widely used decoding strategy for chain-of-thought reasoning. Despite bringing significant performance improvements across a variety of multi-step reasoning tasks, it is a high-cost method that requires multiple sampling with the preset size. In this paper, we propose a simple and scalable sampling process, \textbf{E}arly-Stopping \textbf{S}elf-\textbf{C}onsistency (ESC), to greatly reduce the cost of SC without sacrificing performance. On this basis, one control scheme for ESC is further derivated to dynamically choose the performance-cost balance for different tasks and models. To demonstrate ESC's effectiveness, we conducted extensive experiments on three popular categories of reasoning tasks: arithmetic, commonsense and symbolic reasoning over language models with varying scales. The empirical results show that ESC reduces the average number of sampling of chain-of-thought reasoning by a significant margin on six benchmarks, including MATH (-33.8%), GSM8K (-80.1%), StrategyQA (-76.8%), CommonsenseQA (-78.5%), Coin Flip (-84.2%) and Last Letters (-67.4%), while attaining comparable performances.