Reasoning Consensus: Structural Ensembling of LLM Reasoning via Weighted DAG Aggregation

📄 arXiv: 2607.27783v1 📥 PDF

作者: Amruta Parulekar, Jinu Lee, Dilek Hakkani-Tür, Hari Sundaram

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-07-30

💡 一句话要点

提出共识推理框架以增强大语言模型的推理透明性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理透明性 有向无环图 共识推理 多模型集成 推理质量评估

📋 核心要点

  1. 现有方法在高风险任务中缺乏推理透明性，用户难以判断推理过程的可靠性和完整性。
  2. 论文提出通过加权合并有向无环图（DAG）来集成多个LLMs的推理结构，从而实现更透明的推理过程。
  3. 实验结果显示，该框架在多个基准测试中超越传统多数投票方法，且在相同预算下提供了可检视的共识推理图。

📝 摘要（中文）

大型语言模型（LLMs）通过思维链探索问题，但这种探索往往隐藏在非结构化的文本中。在高风险任务中，用户无法判断哪些步骤得到了良好的支持，哪些替代方案被认真考虑，最终结论与被模型丢弃的结论相比如何。我们提出了一种框架，通过加权合并从推理链中提取的有向无环图（DAG），对多个LLMs的推理结构进行集成。我们根据独立证据支持的步骤数量为每一步加权，从而返回“共识推理”。在六个基准测试中，我们的集成方法在法定解释、研究生级科学、叙事多跳推理和一阶逻辑等任务上超越了匹配预算的多数投票基线，在MuSR-MM（叙事多跳推理）上最大准确率提升达3.1%。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型推理过程的透明性不足问题。现有方法往往仅提供最终答案，缺乏对推理步骤的清晰展示，导致用户难以理解模型的决策依据。

核心思路：论文提出通过加权合并多个LLMs的推理结构，利用有向无环图（DAG）来展示推理过程。每个推理步骤的权重基于独立证据的支持数量，从而形成“共识推理”，提高推理的可解释性和可靠性。

技术框架：整体框架包括多个阶段：首先，从每个LLM的推理链中提取DAG；其次，根据支持证据为每个步骤加权；最后，合并这些DAG以形成一个综合的共识推理图。

关键创新：最重要的技术创新在于通过加权合并推理结构，而不仅仅是答案。这种方法使得推理过程的透明性大幅提升，用户能够清晰地看到每一步的支持程度。

关键设计：在参数设置上，论文通过Spearman相关系数评估集成权重与推理质量的相关性，发现其在0.30到0.51之间。此外，框架设计允许用户检视共识子图，进一步增强了推理的可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的共识推理框架在六个基准测试中超越了匹配预算的多数投票基线，最大准确率提升达3.1%（在MuSR-MM上）。此外，框架在相同的追踪预算下与自一致性相匹配或超越，同时提供了可检视的共识推理图。

🎯 应用场景

该研究的潜在应用领域包括法律文本分析、科学研究辅助、教育领域的智能辅导等。通过提供透明的推理过程，该框架能够帮助用户更好地理解模型的决策，提升高风险任务中的信任度和可靠性。未来，该方法可能在多种领域中推动智能决策系统的发展。

📄 摘要（原文）

Large Language Models (LLMs) explore problems through chain-of-thought, but this exploration is buried in unstructured prose. On high-stakes tasks, users cannot tell which steps are well-supported, which alternatives were seriously considered, or how the final conclusion compares to those the model discarded. We propose a framework that ensembles the reasoning structure, not just the answers, of multiple LLMs by weighted merging of Directed Acyclic Graphs (DAGs) extracted from reasoning chains. We weight each step by how many traces independently attest to it, to return "Consensus Reasoning". Across six benchmarks spanning statutory interpretation, graduate-level science, narrative multi-hop reasoning, and first-order logic, our ensemble outperforms a matched-budget majority-vote baseline, with a maximum accuracy gain of 3.1% on MuSR-MM (narrative multi-hop reasoning). On a single model, the framework matches or exceeds self-consistency at the same trace budget while additionally exposing an inspectable consensus reasoning graph. Ensemble weights correlate with LLM-judge rankings of reasoning quality at Spearman $ρ= 0.30$-$0.51$, and consensus subgraphs are preferred over alternatives leading to the majority-vote answer in 54.4-65.4% of head-to-head comparisons across five of six datasets. We observe that our framework can also be used to analyze diverse reasoning perspectives for a problem.