IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs

📄 arXiv: 2607.01431 📥 PDF

作者: Samir Abdaljalil, Erchin Serpedin, Hasan Kurban

分类: cs.CL, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出ISOSCI基准以评估LLMs的推理与知识检索能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理能力 知识检索 基准评估 同构问题对

📋 核心要点

  1. 现有方法未能有效区分推理能力与领域知识检索，导致评估结果的偏差。
  2. 论文提出ISOSCI基准，通过同构问题对来控制推理与知识的归因，提供更精确的评估。
  3. 实验结果显示，91.3%的推理增益依赖于知识，推理切换对准确率的提升有限，挑战了传统假设。

📝 摘要（中文）

我们介绍了ISOSCI，这是一个由同构跨领域科学问题对组成的基准，旨在将推理能力与领域知识检索在LLM评估中分开。每对问题共享相同的逻辑结构，但需要不同的领域特定知识，从而实现对推理模式增益的控制归因。在涵盖四个模型家族的五对模型中，我们发现91.3%的推理模式增益依赖于知识，而非结构不变性，直接挑战了链式推理改善短期程序性科学问题解决的假设。推理在高能力模型上的切换在所有领域的准确率提升不足5个百分点，而一款专注于推理的模型（o3-mini）在GPQA Diamond上表现优于其标准版本（+19.2个百分点），但在ISOSCI上表现不佳（-24.7个百分点），显示基准选择决定了关于推理效用的结论。我们在此URL发布ISOSCI。

🔬 方法详解

问题定义：论文旨在解决现有大语言模型（LLMs）评估中推理能力与知识检索能力的混淆问题。现有方法未能有效区分这两者，导致评估结果的偏差和误解。

核心思路：论文的核心思路是通过构建ISOSCI基准，利用同构的跨领域科学问题对，来控制推理模式与知识检索的影响，从而实现更为精准的评估。

技术框架：ISOSCI基准包含多个同构问题对，每对问题具有相同的逻辑结构，但需要不同的领域知识。通过对比不同模型在这些问题对上的表现，评估推理与知识的贡献。

关键创新：最重要的技术创新点在于通过同构问题对的设计，使得推理能力与知识检索能力的影响可以被清晰分离。这一方法与现有的基于单一领域或问题的评估方法有本质区别。

关键设计：在实验中，模型的选择、问题对的设计以及评估标准的设定都是关键设计因素。特别是，模型在不同问题对上的表现差异被用来量化推理模式的增益。实验中还使用了置信区间来增强结果的可靠性。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，91.3%的推理模式增益依赖于知识而非结构不变性，推理切换在所有领域的准确率提升不足5个百分点。专注于推理的模型在ISOSCI基准上表现不佳，显示基准选择对推理效用的结论有显著影响。

🎯 应用场景

该研究的潜在应用领域包括教育、科学研究和人工智能助手等。通过更准确地评估LLMs的推理与知识检索能力，能够帮助开发更智能的教育工具和科学计算平台，提升学习和研究的效率。未来，该基准可能推动LLMs在复杂问题解决中的应用，促进跨领域知识的整合与应用。

📄 摘要（原文）

We introduce ISOSCI, a benchmark of isomorphic cross-domain science problem pairs that separates reasoning ability from domain knowledge retrieval in LLM evaluation. Each pair shares identical logical structure but requires different domain-specific knowledge, enabling controlled attribution of reasoning-mode gains. Across five model pairs spanning four model families, we find that 91.3% of reasoning-mode gains are knowledge-dependent rather than structure-invariant (63/69 gains; Wilson 95% CI [82.3%, 96.0%]), directly challenging the assumption that chain-of-thought reasoning improves short-horizon procedural scientific problem-solving. Reasoning toggles on highly capable models provide less than 5 percentage points accuracy gain across all domains, and a reasoning-specialized model (o3-mini) that outperforms its standard counterpart on GPQA Diamond (+19.2 percentage points) underperforms on ISOSCI (-24.7 percentage points), showing that benchmark choice determines conclusions about reasoning utility. We release ISOSCI atthis https URL