From Facts to Conclusions : Integrating Deductive Reasoning in Retrieval-Augmented LLMs

📄 arXiv: 2512.16795v1 📥 PDF

作者: Shubham Mishra, Samyek Jain, Gorang Mehrishi, Shiv Tiwari, Harsh Sharma, Pratik Narang, Dhruv Kumar

分类: cs.CL, cs.AI, cs.CY, cs.IR

发布日期: 2025-12-18

备注: Under Review

💡 一句话要点

提出推理追踪增强的RAG框架，解决检索信息冲突和主观性问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大型语言模型 冲突分析 推理追踪 可解释性 知识推理 信息融合

📋 核心要点

  1. 现有RAG方法在处理冲突、过时或主观信息时表现不佳，缺乏统一的推理监督。
  2. 提出推理追踪增强的RAG框架，通过文档裁决、冲突分析和证据综合实现可解释推理。
  3. 实验表明，该方法在Qwen模型上显著提升了答案正确率和行为一致性。

📝 摘要（中文）

检索增强生成(RAG)使大型语言模型(LLM)能够利用外部证据，但当检索到的信息存在冲突、过时或主观性时，RAG会失效。现有工作分别解决这些问题，但缺乏统一的推理监督。本文提出了一种推理追踪增强的RAG框架，该框架在三个阶段添加了结构化的、可解释的推理过程：(1)文档级裁决，(2)冲突分析，(3)基于证据的综合，从而生成带有引用的答案或合理的拒绝回答。引入了一种冲突感知信任评分(CATS)流程，该流程使用LLM作为评判者来评估证据充分性、事实正确性、拒绝回答的准确性以及冲突行为的一致性。本文构建了一个包含539个查询的推理数据集和评估流程，为冲突感知、可解释的RAG系统奠定了基础。实验结果表明，该方法优于基线方法，尤其是在Qwen模型上，通过监督微调，端到端答案正确率从0.069提高到0.883，行为一致性从0.074提高到0.722。

🔬 方法详解

问题定义：现有RAG模型在面对检索到的信息存在冲突、过时或主观性时，无法有效判断和整合信息，导致生成错误或不可靠的答案。现有的解决方案通常独立解决这些问题，缺乏统一的推理监督机制，难以保证生成结果的质量和可信度。

核心思路：本文的核心思路是通过引入结构化的推理过程，显式地对检索到的文档进行裁决、冲突分析和证据综合，从而提高RAG模型在复杂信息环境下的推理能力和生成结果的可靠性。通过将推理过程分解为多个可解释的步骤，可以更好地理解模型的决策过程，并进行针对性的优化。

技术框架：该框架包含三个主要阶段：1) 文档级裁决：对检索到的文档进行评估，判断其可靠性和相关性；2) 冲突分析：识别文档之间的冲突信息，并分析冲突的原因；3) 基于证据的综合：根据裁决结果和冲突分析，综合各个文档的信息，生成带有引用的答案或合理的拒绝回答。此外，还引入了冲突感知信任评分(CATS)流程，使用LLM作为评判者来评估模型的性能。

关键创新：该方法最重要的创新点在于引入了结构化的推理追踪，将RAG模型的推理过程显式化，使其更易于理解和调试。通过文档裁决和冲突分析，可以有效地过滤掉不可靠的信息，提高生成结果的质量。此外，CATS流程提供了一种自动化的评估方法，可以更全面地评估RAG模型的性能。

关键设计：框架的关键设计包括：1) 文档裁决模块使用LLM对文档的可靠性和相关性进行评分；2) 冲突分析模块使用LLM识别文档之间的冲突信息，并分析冲突的原因；3) 证据综合模块使用LLM根据裁决结果和冲突分析，生成最终答案。CATS流程使用LLM作为评判者，评估生成答案的证据充分性、事实正确性、拒绝回答的准确性以及冲突行为的一致性。具体参数设置和损失函数等细节在论文中未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，该方法在Qwen模型上取得了显著的性能提升。通过监督微调，端到端答案正确率从0.069提高到0.883，行为一致性从0.074提高到0.722。这些结果表明，该方法能够有效地提高RAG模型在处理冲突信息时的推理能力和生成结果的可靠性。

🎯 应用场景

该研究成果可应用于需要处理大量冲突或不确定信息的场景，例如智能客服、金融分析、医疗诊断等。通过提高RAG模型在复杂信息环境下的推理能力，可以生成更准确、可靠的答案，从而提升用户体验和决策效率。未来，该方法有望应用于更广泛的知识密集型任务。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) grounds large language models (LLMs) in external evidence, but fails when retrieved sources conflict or contain outdated or subjective information. Prior work address these issues independently but lack unified reasoning supervision. We propose a reasoning-trace-augmented RAG framework that adds structured, interpretable reasoning across three stages : (1) document-level adjudication, (2) conflict analysis, and (3) grounded synthesis, producing citation-linked answers or justified refusals. A Conflict-Aware Trust-Score (CATS) pipeline is introduced which evaluates groundedness, factual correctness, refusal accuracy, and conflict-behavior alignment using an LLM-as-a-Judge. Our 539-query reasoning dataset and evaluation pipeline establish a foundation for conflict-aware, interpretable RAG systems. Experimental results demonstrate substantial gains over baselines, most notably with Qwen, where Supervised Fine-Tuning improved End-to-End answer correctness from 0.069 to 0.883 and behavioral adherence from 0.074 to 0.722.