ScienceJudge: Pattern Perturbation Augmentation for Sentence-Level Scientific Claim Verification

📄 arXiv: 2610.40238v1 📥 PDF

作者: Chuhai Cai, Xin Chen, Min Yang, Feng Jiang

分类: cs.CL

发布日期: 2026-10-29

备注: 13 pages, 1 figure; NLPCC 2026 Shared Task 10 (Track 1)

💡 一句话要点

提出Pattern Perturbation Augmentation以解决科学声明验证问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学声明验证 多模态学习 模式增强 视觉-语言模型 机器学习 自然语言处理

📋 核心要点

  1. 现有的科学声明验证方法在处理细微的报告错误时表现不佳，难以在稀疏和不平衡的监督下检测证据与声明之间的偏差。
  2. 本文提出的Pattern Perturbation Augmentation（PPA）通过建模报告错误为标签特定的变换，生成可重用的错误模式，从而增强模型的鲁棒性。
  3. 实验结果显示，ScienceJudge在多个指标上显著提升性能，尤其是在Macro-F1和段落精确匹配分数上，展示了其有效性。

📝 摘要（中文）

句子级科学声明验证旨在判断AI生成的科学段落中的每个句子是否得到给定多模态证据的支持。现有方法在稀疏和不平衡监督下，难以检测细微的证据-声明偏差。为此，本文提出了Pattern Perturbation Augmentation（PPA），将报告错误建模为特定标签的忠实性破坏变换，并从标记示例中诱导可重用的错误模式。PPA将这些模式应用于支持的声明，以构建受控的困难负样本，并通过模式级、操作级和跨领域增强扩展其覆盖范围。基于这些增强视图，本文开发了ScienceJudge，集成了PPA训练的视觉-语言预测器和指令引导的LLM预测器，通过类别加权集成推理。实验结果表明，ScienceJudge在本地开发集上将平均分从0.8124提升至0.8692，Macro-F1达到0.8466，段落精确匹配分数为0.8919，并在NLPCC 2026任务10的官方排行榜中排名第一。

🔬 方法详解

问题定义：本文解决的是句子级科学声明验证问题，现有方法在面对细微的报告错误时，难以有效检测证据与声明之间的偏差，导致验证准确率低下。

核心思路：论文提出的PPA方法通过将报告错误视为特定标签的忠实性破坏变换，生成可重用的错误模式，从而增强模型的训练数据，提升验证的准确性和鲁棒性。

技术框架：整体架构包括PPA模块、视觉-语言预测器和指令引导的LLM预测器。PPA模块负责生成困难负样本，视觉-语言预测器用于处理多模态输入，而LLM预测器则通过指令引导进行推理，最终通过类别加权集成推理得到结果。

关键创新：PPA的核心创新在于将报告错误建模为标签特定的变换，允许模型在训练过程中接触到更多样化的错误模式，从而提高了模型的泛化能力和准确性。

关键设计：在模型设计中，采用了类别加权的损失函数，以平衡不同类别的样本影响，同时在网络结构上结合了视觉和语言特征的融合，增强了模型的多模态理解能力。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，ScienceJudge在本地开发集上将平均分从0.8124提升至0.8692，Macro-F1达到了0.8466，段落精确匹配分数为0.8919。此外，该系统在NLPCC 2026任务10的官方排行榜中以0.6890的最终得分排名第一，展示了其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括科学文献的自动审核、AI辅助的科研写作工具以及科学信息的自动验证系统。通过提高科学声明的验证准确性，能够有效支持科研人员在信息获取和判断上的决策，推动科学研究的透明性和可信度。

📄 摘要（原文）

Sentence-level scientific claim verification determines whether each sentence in an AI-generated scientific paragraph is supported by a given multimodal evidence bundle. Fine-grained reporting errors often preserve fluent and plausible statements while introducing subtle evidence-claim deviations, making them difficult to detect under sparse and imbalanced supervision. We propose Pattern Perturbation Augmentation (PPA), which models reporting errors as label-specific faithfulness breaking transformations and induces reusable error patterns from labeled examples. PPA applies these patterns to supported claims to construct controlled hard negatives and expands their coverage through pattern-level, operation-level, and cross-domain augmentation. Based on these augmented views, we develop ScienceJudge, which integrates PPA-trained vision-language predictors and instruction-guided LLM predictors through class-weighted ensemble inference. On the local development set, ScienceJudge improves the average score from 0.8124 to 0.8692, achieving a Macro-F1 of 0.8466 and a Paragraph Exact Match score of 0.8919. Our submitted system ranks first on the official NLPCC 2026 Task 10 Track 1 leaderboard with a final score of 0.6890.