NuclearQAv2: A Structured Benchmark for Evaluating Domain-Science Competence in Large Language Models

📄 arXiv: 2606.27047v1 📥 PDF

作者: Henry Shaowu Yuchi, Michal Kucer, Benjamin H. Sims, Selma Peterson, Emily Taylor

分类: cs.CL, cs.AI

发布日期: 2026-06-25

💡 一句话要点

提出NuclearQAv2以评估大型语言模型在核工程领域的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 核工程 基准评估 定量推理 概念理解 混合构建 结构化提示

📋 核心要点

  1. 现有大型语言模型在核工程等技术领域的可靠性评估存在不足，尤其在定量推理和概念理解方面的挑战。
  2. 本文提出NuclearQAv2基准，通过专家撰写、现有数据集和LLM辅助生成相结合，系统性评估LLMs的核工程知识。
  3. 实验结果显示，模型在事实性问题上表现良好，但在定量推理和概念理解上仍有显著差距，强调了多维评估的重要性。

📝 摘要（中文）

大型语言模型（LLMs）在多种任务中表现出色，但在高度专业的技术领域确保其可靠性仍然是一个重大挑战。在核工程中，问题解决不仅需要事实知识，还需要定量推理和概念理解。为满足该领域系统评估的需求，本文提出了NuclearQAv2，一个用于评估LLMs在核工程知识方面的基准。该基准包含约1240个问题-答案对，涵盖布尔、数值和语言三类问题。NuclearQAv2采用混合管道构建，结合专家撰写的问题、现有数据集和基于领域特定技术语料库的LLM辅助生成。通过结构化提示，本文框架实现了可扩展的基准构建和评估。对多种LLMs的评估显示，模型在事实性问题上表现良好，但在定量推理和概念理解方面仍面临显著挑战。这些结果强调了多维评估框架的重要性，并确立了NuclearQAv2作为技术领域评估LLM能力的可扩展基准。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在核工程领域的评估不足，尤其是在定量推理和概念理解方面的挑战。现有方法缺乏系统性和针对性，无法全面评估模型的能力。

核心思路：NuclearQAv2基准通过结合专家知识、现有数据集和LLM生成的问题，提供了一个结构化的评估框架，旨在全面评估LLMs在核工程领域的表现。

技术框架：该框架包括三个主要模块：问题生成、答案评估和结果分析。首先，通过专家和LLM生成问题，然后对模型的回答进行评估，最后分析不同模型在各类问题上的表现差异。

关键创新：NuclearQAv2的创新在于其混合构建方法和结构化提示策略，使得基准的构建和评估过程更加高效和可扩展。这与传统的单一数据集或专家评审方法有本质区别。

关键设计：在设计中，采用了多种问题类型（布尔、数值、语言），并通过结构化提示优化了问题生成和答案评估的过程，确保了评估的全面性和准确性。具体的参数设置和损失函数设计未在摘要中详细说明，需查阅原文以获取更多技术细节。

📊 实验亮点

实验结果显示，评估的多种LLMs在事实性问题上表现良好，但在定量推理和概念理解方面的表现明显不足，强调了多维评估框架的必要性。具体性能数据和提升幅度需查阅原文以获取详细信息。

🎯 应用场景

NuclearQAv2基准的潜在应用领域包括核工程教育、技术培训和大型语言模型的开发与评估。通过提供系统化的评估工具，该研究可以帮助教育工作者和研究人员更好地理解和提升LLMs在专业领域的能力，推动核工程相关技术的发展。

📄 摘要（原文）

Large language models (LLMs) have demonstrated strong performance across a wide range of tasks, but ensuring their reliability in highly technical domains remains a significant challenge. In nuclear engineering, problem solving often requires not only factual knowledge but also quantitative reasoning and conceptual understanding. To address the need for systematic evaluation in this domain, we introduce NuclearQAv2, a benchmark for assessing LLMs on nuclear engineering knowledge. The benchmark comprises approximately 1,240 question-answer pairs spanning three categories: boolean, numeric, and verbal. NuclearQAv2 is constructed using a hybrid pipeline that combines expert-authored questions, existing datasets, and LLM-assisted generation from domain-specific technical corpora. By leveraging structured prompting for both automated question generation and response evaluation, the proposed framework enables scalable benchmark construction and evaluation. We evaluate a diverse set of LLMs using NuclearQAv2 and observe substantial performance differences across task types. While the models generally perform well on factual questions, quantitative reasoning and conceptual understanding remain considerably more challenging. These results highlight the importance of multi-faceted evaluation frameworks and establish NuclearQAv2 as a scalable benchmark for assessing LLM capabilities in technical domains.