DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs

📄 arXiv: 2401.05190v2 📥 PDF

作者: Zijie Meng, Yan Zhang, Zhaopeng Feng, Zuozhu Liu

分类: cs.CL

发布日期: 2024-01-10 (更新: 2024-04-02)

备注: Technique Report

🔗 代码/项目: GITHUB

💡 一句话要点

提出DCR以解决多选题推理能力不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多选题 推理能力 分而治之 信心分数 选择过滤 教育评估 智能问答

📋 核心要点

  1. 现有方法未能有效区分多选题的难度，导致复杂问题的推理能力不足。
  2. 提出分而治之推理（DCR）策略，通过信心分数将问题分类，分别处理以提高推理能力。
  3. 实验结果显示，该方法在九个数据集上实现了平均1.56%的准确率提升，且成本显著降低。

📝 摘要（中文）

大型语言模型（LLMs）在推理基准测试中表现出色，尤其是在多选题（MCQ）中。然而，现有方法对问题解决的难度没有区分，导致简单题目被过度关注，而复杂题目则被忽视。为了解决这一挑战，本文提出了一种简单而有效的策略——分而治之推理（DCR），旨在增强LLMs在MCQs中的推理能力。该方法通过信心分数（$ ext{CS}$）将问题分为两类，并提出基于选择过滤的推理（FCR）来提升低$ ext{CS}$问题的模型表现。实验表明，该策略在成本仅为SOTA的85%时，平均准确率提升了1.56%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多选题推理中对问题难度缺乏区分的问题。现有方法对所有问题一视同仁，导致复杂问题的处理能力不足。

核心思路：提出分而治之推理（DCR）策略，灵感来源于人类的启发式思维，首先对问题进行分类，然后分别处理，以提高模型的推理能力。

技术框架：整体流程包括两个主要阶段：首先根据信心分数（$ ext{CS}$）将问题分为高和低两类；其次对低$ ext{CS}$问题应用基于选择过滤的推理（FCR）策略，以提升模型表现。

关键创新：最重要的创新在于引入信心分数作为问题分类的依据，并结合选择过滤策略，显著提高了对复杂问题的处理能力。与现有方法相比，DCR在处理复杂问题时表现出更高的准确性和效率。

关键设计：在模型设计中，信心分数的计算基于生成答案的统计频率，选择过滤策略则通过分析选项的相关性来优化低$ ext{CS}$问题的解答过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DCR策略在九个不同的数据集上实现了平均1.56%的准确率提升，同时其成本仅为当前最先进技术（SOTA）的85%。这一成果展示了DCR在提升多选题推理能力方面的有效性和经济性。

🎯 应用场景

该研究的潜在应用领域包括教育评估、智能问答系统和在线学习平台等。通过提升多选题的推理能力，DCR可以帮助学生更好地理解复杂概念，并为教育工作者提供更有效的评估工具。未来，该方法还可能扩展到其他类型的推理任务中，进一步推动智能教育的发展。

📄 摘要（原文）

Large language models (LLMs) have shown impressive performance in reasoning benchmarks with the emergence of Chain-of-Thought (CoT), particularly in multi-choice question (MCQ). However, current works equally resolve questions regardless of the problem-solving difficulty, leading to an excessive focus on simple items while insufficient attention on intricate ones. To address this challenge, we propose a simple yet effective strategy, Divide and Conquer Reasoning (DCR), to enhance the reasoning capability of LLMs for MCQs, as inspired by human beings using heuristics to first categorize tasks and then handle them separately. In particular, we first categorize questions into two subsets based on confidence score ($\mathcal{CS}$), which is estimated by statistical frequency of generated answers. Subsequently, we propose Filter Choices based Reasoning (FCR) to improve model performance on MCQs with low ($\mathcal{CS}$). Our experiments demonstrate that the proposed strategy only costs 85% of SOTA, while still achieves average accuracy improvement of 1.56% across nine datasets including arithmetic, commonsense, and logic reasoning tasks. The code is at \url{https://github.com/AiMijie/Divide-and-Conquer}