Universal Self-Consistency for Large Language Model Generation

📄 arXiv: 2311.17311v1 📥 PDF

作者: Xinyun Chen, Renat Aksitov, Uri Alon, Jie Ren, Kefan Xiao, Pengcheng Yin, Sushant Prakash, Charles Sutton, Xuezhi Wang, Denny Zhou

分类: cs.CL, cs.AI

发布日期: 2023-11-29

💡 一句话要点

提出通用自一致性方法以解决自由形式答案聚合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自一致性 大型语言模型 开放式问答 代码生成 数学推理 长上下文摘要 推理路径

📋 核心要点

  1. 现有自一致性方法依赖答案提取，无法处理自由形式答案，限制了其应用范围。
  2. 论文提出通用自一致性（USC），通过LLMs自身选择最一致的答案，解决了答案聚合问题。
  3. USC在多个基准测试中表现优异，尤其在开放式生成任务中显著提升了性能。

📝 摘要（中文）

自一致性与链式思维提示（CoT）在多个挑战性任务中表现出显著的性能提升，利用从大型语言模型（LLMs）中采样的多条推理路径。然而，自一致性依赖于答案提取过程来聚合多个解决方案，这在自由形式答案中并不适用。本文提出了通用自一致性（USC），利用LLMs自身选择多个候选答案中最一致的答案。我们在数学推理、代码生成、长上下文摘要和开放式问答等多种基准上评估USC。在开放式生成任务中，USC有效利用多个样本并提升性能。在数学推理中，USC在不要求答案格式相似的情况下匹配标准自一致性性能。最后，在没有执行结果的情况下，USC也匹配了代码生成中的基于执行的投票性能。

🔬 方法详解

问题定义：本文旨在解决自一致性方法在自由形式答案聚合中的局限性，现有方法无法有效处理此类答案，导致性能下降。

核心思路：论文提出的USC方法通过利用大型语言模型自身的能力，选择多个候选答案中最一致的答案，从而避免了传统答案提取的不足。

技术框架：USC的整体架构包括多个模块：首先生成多个候选答案，然后通过模型内部机制评估这些答案的一致性，最后选择最优答案。

关键创新：USC的核心创新在于其无需依赖外部答案提取过程，而是直接利用LLMs的推理能力进行答案选择，这一设计与现有方法形成了本质区别。

关键设计：在USC中，关键参数设置包括候选答案的数量、评估一致性的标准，以及模型的训练策略，确保在不同任务中都能保持高效的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

USC在开放式生成任务中显著提升了性能，尤其在数学推理中，其表现与标准自一致性相当，而无需相似的答案格式。此外，USC在代码生成任务中也匹配了基于执行的投票性能，显示出其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括教育、编程辅助、信息检索等，能够有效提升开放式问答和代码生成等任务的性能。未来，USC方法可能推动更广泛的自然语言处理应用，提升人机交互的智能化水平。

📄 摘要（原文）

Self-consistency with chain-of-thought prompting (CoT) has demonstrated remarkable performance gains on various challenging tasks, by utilizing multiple reasoning paths sampled from large language models (LLMs). However, self-consistency relies on the answer extraction process to aggregate multiple solutions, which is not applicable to free-form answers. In this work, we propose Universal Self-Consistency (USC), which leverages LLMs themselves to select the most consistent answer among multiple candidates. We evaluate USC on a variety of benchmarks, including mathematical reasoning, code generation, long-context summarization, and open-ended question answering. On open-ended generation tasks where the original self-consistency method is not applicable, USC effectively utilizes multiple samples and improves the performance. For mathematical reasoning, USC matches the standard self-consistency performance without requiring the answer formats to be similar. Finally, without access to execution results, USC also matches the execution-based voting performance on code generation.