An Experimental Study of Hybrid Retrieval, NLI and Open-source LLMs for Scientific Claim Verification

📄 arXiv: 2611.03093v1 📥 PDF

作者: Lakshmi Narayanan P, Narenkarthik K, Naren Kumar C

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-11-02

备注: 15 pages

💡 一句话要点

提出保守融合规则以优化科学声明验证

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学声明验证 自然语言推理 大型语言模型 混合检索 性能评估 模型融合

📋 核心要点

  1. 现有的NLI模型在处理多句证据时表现不佳，而LLMs可能得出不支持的结论，导致验证效果不理想。
  2. 本研究提出了一种保守的融合规则，要求NLI和LLM模型一致时才标记为支持或反驳，以此结合两者的优势。
  3. 实验结果表明，Qwen3模型在宏观F1分数上表现最佳，达到了0.7937，而NLI基线仅为0.3157，显示出LLMs的潜力。

📝 摘要（中文）

声明验证是判断源文本是否支持、反驳或缺乏证据的任务。自然语言推理（NLI）模型在单句支持或反驳声明时表现良好，但在证据分散于多句时则存在困难。大型语言模型（LLMs）能够跨句推理，但可能得出文本不支持的结论。本研究测试了一种保守的融合规则，仅在两个模型一致时标记声明为支持或反驳，否则标记为证据不足。我们构建了一个包含2035个声明的基准，并使用语义与词汇混合检索方法获取每个声明的五个最相关句子。实验结果显示，Qwen3模型在宏观F1分数上表现最佳，达到了0.7937，而NLI基线仅为0.3157。尽管我们假设融合会提升性能，但结果显示融合反而降低了性能。

🔬 方法详解

问题定义：本论文旨在解决科学声明验证中的证据分散问题，现有的NLI模型在多句证据情况下表现不佳，而LLMs可能得出不准确的结论。

核心思路：提出了一种保守的融合规则，只有在NLI和LLM模型一致时，才将声明标记为支持或反驳，否则标记为证据不足，以此结合两者的优点。

技术框架：整体流程包括构建声明基准、使用混合检索方法获取相关句子、将句子输入到验证模型中，并对比不同模型的验证效果。

关键创新：最重要的创新在于提出了保守融合规则，旨在减少模型间的不一致性对最终结果的影响，与现有方法相比，强调了模型一致性的重要性。

关键设计：在参数设置上，使用了BM25和语义检索的混合方法来获取相关句子，并对比了DeBERTa-v3和多个LLM模型的性能，确保了实验的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Qwen3模型在宏观F1分数上达到了0.7937，明显优于其他模型和NLI基线（0.3157）。然而，融合规则的应用反而导致性能下降，宏观F1分数降至0.7392、0.6730和0.5991，提示需要进一步优化融合策略。

🎯 应用场景

该研究的潜在应用领域包括科学研究、医学文献审核及信息验证等，能够帮助研究人员和医生更有效地验证科学声明的真实性，提升信息的可靠性和准确性。未来，该方法可能在更广泛的文本验证任务中得到应用，推动相关领域的发展。

📄 摘要（原文）

Claim verification is the task of deciding whether a source text supports a claim, contradicts it, or lacks sufficient evidence. Natural Language Inference (NLI) models can judge whether a single sentence supports or contradicts a claim, but they struggle when the evidence is spread across several sentences. Conversely, Large Language Models (LLMs) can reason across sentences, but may draw conclusions the text does not support. In this experimental study, we test whether a conservative fusion rule, labeling a claim Support or Contradict only when both models agree and defaulting to Not Enough Evidence otherwise, combines their strengths. We construct a benchmark of 2,035 claims from SciFact and CliniFact (858 Support, 152 Contradict, 1,025 Not Enough Evidence). We retrieve the top five most relevant sentences per claim using a hybrid of semantic and lexical (BM25) retrieval, which slightly outperforms either method alone. These retrieved sentences are then provided to every verification model. We then compare a DeBERTa-v3-base-mnli-fever-anli NLI baseline against Llama 3.1 8B, Qwen3 8B, and Mistral 7B. Qwen3 achieves the highest Macro-F1 (0.7937), followed by Llama 3.1 (0.7204) and Mistral (0.6388), while the NLI baseline reaches only 0.3157. Contrary to our hypothesis, fusion degrades performance, dropping Macro-F1 to 0.7392, 0.6730, and 0.5991, respectively. To understand this decline, we analyze agreements, disagreements, and common error patterns between the NLI and LLM verifiers. Our error analysis shows that NLI and LLM disagreements often result in correct LLM predictions being overturned.