MedAgent-R1: Faithfulness-Aware Reinforcement Learning for Evidence-Grounded Medical Reasoning
作者: Jiangwang Chen, Chenghao Zhang, Hengxing Cai
分类: cs.AI
发布日期: 2026-08-31
💡 一句话要点
提出MedAgent-R1以解决医疗推理中的信实性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 医疗推理 信实性 强化学习 证据基础 智能医疗 临床决策 人工智能
📋 核心要点
- 现有的医疗推理代理在提供答案时，往往会生成不可靠的理由，导致临床医生误判。
- 论文提出了一种信实性门控奖励机制，通过条件性奖励来确保答案的证据基础。
- 实验结果显示，MedAgent-R1将引用虚构率从31.8%降低至4.7%，证据完整性从58.7%提升至82.6%。
📝 摘要（中文）
在医疗人工智能系统中，当临床推理出现幻觉时，后果不仅仅是错误的答案；虚构的理由可能误导临床医生做出不安全的治疗决策。因此，医疗推理代理不仅需要提供正确的答案，还需提供可验证的信实理由。本文识别了强化学习训练的检索代理中的系统性失败模式：仅关注结果的奖励机制虽然提高了准确性，却降低了信实性。为此，提出了一种信实性门控奖励设计，条件性地给予准确性奖励，并结合检索有效性和简洁性信号。最终，MedAgent-R1显著降低了引用虚构率，并提高了证据完整性，同时保持了较高的准确性。
🔬 方法详解
问题定义：本文旨在解决医疗推理代理在生成理由时的信实性问题。现有方法在追求准确性的同时，导致了虚构理由的增加，影响了临床决策的安全性。
核心思路：论文提出了一种信实性门控奖励机制，确保代理在生成答案时，必须基于真实的证据进行推理，从而减少虚构理由的产生。
技术框架：MedAgent-R1系统包括多个模块：首先是检索模块，负责从数据库中获取相关证据；其次是推理模块，基于检索到的证据生成答案；最后是奖励模块，通过信实性门控机制评估生成的理由。
关键创新：最重要的创新在于引入了信实性门控奖励设计，使得准确性奖励与证据基础相结合，避免了仅依赖结果的训练方式。
关键设计：在参数设置上，设计了硬门控机制，确保只有在有可靠证据的情况下才给予准确性奖励，同时引入了检索有效性和简洁性信号，以优化生成过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MedAgent-R1将引用虚构率从31.8%降低至4.7%，证据完整性从58.7%提升至82.6%，同时保持75.1%的准确性。在HealthBench Safety上，MedAgent-R1的表现提升了13.2点，显示出显著的性能改进。
🎯 应用场景
该研究的潜在应用领域包括医疗决策支持系统、临床辅助工具以及智能医疗咨询服务。通过提高医疗推理的信实性，能够有效减少临床错误，提高患者安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
When medical AI systems hallucinate clinical reasoning, the consequences extend beyond incorrect answers: fabricated justifications that superficially reference retrieved evidence can mislead clinicians into unsafe treatment decisions. Medical reasoning agents must therefore produce not only correct answers but also faithful justifications that clinicians can verify against cited evidence. We identify a systematic failure mode in RL-trained retrieval agents: outcome-only rewards improve accuracy while degrading faithfulness, a phenomenon we term confident hallucination. The agent learns to answer from parametric memory and backfill plausible but unsupported justifications; citation fabrication rates rise from 16.5% to 31.8% even as accuracy improves by 5 points over the supervised baseline. We address this with a faithfulness-gated reward design: accuracy credit is conditioned on evidence grounding via a hard gate, complemented by retrieval validity and conciseness signals that close exploitation paths unique to agentic retrieval. The resulting system, MedAgent-R1, reduces citation fabrication from 31.8% to 4.7% and raises evidence completeness from 58.7 to 82.6 while maintaining 75.1% accuracy, with 13.2-point gains on HealthBench Safety. Under the same agentic retrieval setup, MedAgent-R1 outscores GPT-4o on faithfulness-specific dimensions (Factual Support 4.55 vs. 4.25; Overclaiming 4.40 vs. 4.15) while remaining below GPT-4o in overall accuracy, suggesting that explicit faithfulness training yields evidence-grounding gains not achieved by scaling alone.