SciTrue: Reliable Scientific Claim Validation with Frontier and Open Language Models at the NTCIR SciClaimEval Task
作者: Qiming Bao, Neşet Özkan Tan, Siyuan Wang, Mark Gahegan
分类: cs.AI, cs.CL
发布日期: 2026-09-01
备注: To appear in the Proceedings of the 19th NTCIR Conference (NTCIR-19)
💡 一句话要点
提出SciTrue以解决科学声明验证问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学声明验证 多模态模型 配对结构优化 指令调优 数据集标签噪声 透明后处理 自动审核 科研传播
📋 核心要点
- 现有方法在科学声明验证中面临挑战，尤其是在处理图表和表格时的准确性不足。
- 论文提出通过基准测试多种前沿模型，并结合透明的后处理方法来提高验证的可靠性。
- 实验结果显示，SciTrue在多个子任务中表现优异，准确率显著提升，尤其是在配对结构优化后。
📝 摘要（中文）
我们描述了SciTrue团队在NTCIR-19 SciClaimEval任务中的参与，该任务要求系统验证科学声明与论文中的表格和图形的准确性。我们基准测试了11个前沿和开放的多模态模型，并结合轻量透明的后处理方法。在官方盲测排行榜中，SciTrue在四个证据类别/子任务组合中的三个中以明显优势排名第一，并在第四个子任务的主要指标上并列第一。我们的研究发现，强指令调优模型表现出色，任务的配对结构是提升准确率的关键因素，且大多数残余错误源于标签映射交换或数据集标签噪声。
🔬 方法详解
问题定义：论文要解决科学声明验证的问题，尤其是如何有效地对比论文中的图表和表格。现有方法在处理复杂数据时准确性不足，容易受到标签噪声的影响。
核心思路：论文的核心思路是通过基准测试多种前沿和开放的多模态模型，并结合轻量透明的后处理方法，以提高科学声明验证的准确性和可靠性。
技术框架：整体架构包括模型基准测试、配对结构优化和后处理三个主要模块。首先，使用多种模型进行基准测试，然后通过优化配对结构来提升准确性，最后进行后处理以确保结果的透明性。
关键创新：最重要的技术创新点在于引入了“无泄漏配对先验”，该方法通过声明文本恢复支持/反驳配对，从而显著提高了准确率。与现有方法相比，这种设计更有效地利用了模型的输出。
关键设计：在参数设置上，使用了强指令调优的模型如Claude Opus和GPT-5.5，损失函数和网络结构经过精心设计以适应多模态数据的处理需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SciTrue在三个证据类别/子任务组合中以明显优势排名第一，在第四个子任务的主要指标上并列第一。特别是，通过优化配对结构，Subtask-1的配对准确率从72.2%提升至93.5%，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括科学文献的自动审核、科研成果的验证以及科学传播的准确性提升。通过提高科学声明的验证效率，能够更好地支持科研人员和公众获取可靠的信息，促进科学知识的传播与应用。
📄 摘要（原文）
We describe the SciTrue team's participation in both subtasks of the NTCIR-19 SciClaimEval task~\cite{sciclaimeval}, which asks systems to verify scientific claims against the tables and figures of a paper. Rather than tuning a single model, we benchmark eleven frontier and open multimodal models under one honest, per-sample protocol and combine them with light, transparent post-processing. On the official, blind test leaderboard (Section~\ref{sec:results}), SciTrue placed first by a clear margin in three of the four evidence-category/subtask combinations, and tied for first on the primary metric in the fourth. Three findings explain the result. First, strong instruction-tuned models are already competitive: Claude Opus~4.8 and Gemma-4-31B each exceed the strongest public baseline (o4-mini), and GPT-5.5 and Claude Fable~5 lead both subtasks (97.7 on Subtask~2). Second, the task's pairing structure is the largest lever: a \emph{leak-free pair prior} that recovers the Supported/Refuted pairing from the claim text alone (a visible field) and assigns Supported to the higher-confidence evidence raises Subtask-1 pair-accuracy from 72.2 to 93.5, far more than any model swap or ensemble weighting. Third, a case-by-case audit finds that most residual errors are visually-undetectable label-mapping swaps or dataset label noise, so measured accuracy understates the true ability and the fixable-by-modeling headroom is small. Controlled fine-tuning, distillation, and agentic consistency-checking support the same conclusions, and we document throughout a measurement leak---label information reaching a system through the packaging of the data rather than its content---in which the released file ordering encodes the label, including one instance that briefly misled our own pipeline.