From Reasoning Depth to Reasoning Breadth: Evaluating Multi-Point Associative Reasoning in Large Language Models

📄 arXiv: 2608.10444v1 📥 PDF

作者: Si'an Xie, Jiaxun Liu, Biao Yang, Wei Yuan, Fan Yang, Tingting Gao, Ming Wu

分类: cs.CL, cs.AI

发布日期: 2026-08-11

💡 一句话要点

提出MPAR-Bench以评估大语言模型的多点关联推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理深度 推理广度 多点关联推理 大型语言模型 自然语言处理 双语基准 语义多样性 模型评估

📋 核心要点

  1. 现有方法主要关注推理深度，缺乏对推理广度的评估，导致模型在多样化线索整合能力上的不足。
  2. 论文提出MPAR-Bench基准，通过多点关联推理任务，评估模型在并行探索多种语义方向的能力。
  3. 实验结果显示，模型在处理扰动时准确度显著下降，表明推理深度并不自动带来推理广度的提升。

📝 摘要（中文）

大型语言模型（LLMs）在需要长且复杂推理链的推理任务上取得了显著进展，这主要反映了推理深度。然而，推理广度这一能力尚未得到充分研究。本文提出MPAR-Bench，这是一个双语（英汉）基准，旨在通过多点关联推理来隔离推理广度。每个项目要求模型从多个独立生成的语义多样线索中恢复隐藏目标。我们构建了1000个项目，采用多代理线索生成管道、基于嵌入的多样性过滤和人工验证。实验结果表明，模型在处理扰动时准确度下降9-18个百分点（英语）和5-12个百分点（汉语），这表明推理深度与推理广度之间并不总是正相关。

🔬 方法详解

问题定义：本文旨在解决现有基准对推理广度评估不足的问题，现有方法主要集中在推理深度，导致模型在多样化线索整合能力上的缺陷。

核心思路：通过设计MPAR-Bench基准，利用多点关联推理任务，要求模型从多个独立生成的线索中恢复隐藏目标，从而评估推理广度。

技术框架：整体架构包括线索生成、线索多样性过滤和人工验证三个主要模块。线索生成通过多代理系统实现，确保生成的线索在语义上具有多样性。

关键创新：MPAR-Bench的创新在于其专注于推理广度的评估，填补了现有基准的空白，强调了多样化线索的整合能力。

关键设计：在构建1000个项目时，采用了基于嵌入的多样性过滤和人工验证，确保每个线索集的独立性和多样性，且答案空间仅从公共词表中提取。实验中还引入了多种扰动方式以测试模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在处理扰动时，模型的准确度在英语中下降了9-18个百分点，在汉语中下降了5-12个百分点。尽管思维模式提高了标准准确度，但并未一致降低对扰动的敏感性，表明推理深度与广度之间的复杂关系。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话系统等。通过提升模型的推理广度能力，可以增强其在复杂任务中的表现，未来可能对人机交互和自动化决策产生深远影响。

📄 摘要（原文）

Large language models (LLMs) have made substantial progress on reasoning tasks that require increasingly long and complex inferential chains. This progress primarily reflects reasoning depth. A complementary and comparatively unexamined capability is reasoning breadth: exploring multiple semantic directions in parallel and integrating the resulting clues into one coherent answer. We introduce MPAR-Bench, a bilingual English-Chinese benchmark that isolates reasoning breadth through multi-point associative reasoning. Inspired by the cooperative game Just One, each item asks a model to recover a hidden target from several independently generated, semantically diverse clues. We construct 1,000 items using a multi-agent clue-generation pipeline, embedding-based diversity filtering, and human verification. Only the answer space is drawn from public word lists, whereas every clue set is generated from scratch. Beyond exact-match accuracy, we evaluate models using accuracy, ANLS, embedding similarity, reasoning-trace verification, and four perturbations: clue masking, order shuffling, distractor injection, and multi-step clues. Across evaluated models, perturbations reduce accuracy by 9-18 percentage points in English and 5-12 percentage points in Chinese. Thinking mode improves standard-setting accuracy, especially in English, but does not consistently reduce sensitivity to perturbations. Case-level analysis also shows that extended reasoning can overturn an initially correct hypothesis. These results indicate that greater reasoning depth does not automatically confer robust reasoning breadth, and that reasoning breadth remains largely uncovered by current benchmarks.