Graph-Supervised Hierarchical Clinical Alignment for Radiology Report Generation with Large Language Models

📄 arXiv: 2608.24121v1 📥 PDF

作者: Yingshu Li, Yunyi Liu, Zhanyu Wang, Zailong Chen, Lingqiao Liu, Lei Wang, Luping Zhou

分类: cs.CV

发布日期: 2026-08-25

💡 一句话要点

提出图监督层次临床对齐以解决放射学报告生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射学报告生成 图监督学习 临床对齐 知识图谱 多模态学习 深度学习 医学影像分析

📋 核心要点

  1. 现有方法在放射学报告生成中主要依赖整体报告层面的监督，导致临床生成的准确性不足。
  2. 本文提出图监督层次临床对齐，将监督分为疾病中心对齐和全局临床语义对齐，以解决粒度不匹配问题。
  3. 实验结果表明，所提方法在多个数据集上均显著提升了性能，尤其是3B模型在多个基准上超越了更大规模的模型。

📝 摘要（中文）

放射学报告生成（RRG）最近受益于大型语言模型，显著提高了报告的流畅性。然而，临床真实生成仍然具有挑战性，因为当前的监督主要集中在报告层面，导致粒度不匹配。为了解决这一问题，本文提出了图监督层次临床对齐方法，将图像-报告监督重新构建为层次化的临床对齐问题。该方法将对齐结构化为基于疾病的过程，监督分为两个层次：疾病中心对齐和全局临床语义对齐。通过在训练时使用临床知识图谱作为结构先验，本文的方法在MIMIC-CXR、IU-Xray和COV-CTR数据集上显示出在传统和临床指标上的一致性提升，尤其是3B模型超越了多个使用更大7B/13B骨干网络的系统，表明改善监督结构比单纯增加模型规模更有效。

🔬 方法详解

问题定义：本文旨在解决放射学报告生成中的临床真实生成问题，现有方法主要在报告层面进行监督，导致与疾病相关的细节缺失。

核心思路：提出图监督层次临床对齐方法，通过将监督结构化为基于疾病的对齐过程，细化监督粒度，增强生成的临床一致性。

技术框架：该方法包括两个主要模块：疾病中心对齐用于细粒度疾病特异性对应，全局临床语义对齐确保报告层面的语义一致性。训练时使用临床知识图谱作为结构先验。

关键创新：引入实例条件的判别匹配与疾病条件的软正则化相结合，克服了标准对比对齐在重叠病理情况下可能产生的假阴性问题。

关键设计：在损失函数设计上，结合了细粒度对齐和全局语义一致性，确保模型在训练时能够有效学习到疾病特征与报告内容之间的关系。使用的知识图谱定义了疾病特异性监督单元及其临床关系，推理时不增加额外开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在MIMIC-CXR、IU-Xray和COV-CTR数据集上均显著提升了性能，尤其是3B模型在多个基准上超越了使用更大7B/13B骨干网络的系统，表明改善监督结构的有效性。具体性能提升幅度在不同指标上均有体现，验证了方法的优越性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动化报告生成和临床决策支持系统。通过提高放射学报告生成的准确性和一致性，能够为医生提供更可靠的辅助工具，提升临床工作效率和患者护理质量。未来，该方法可能在其他医学领域的报告生成中得到推广和应用。

📄 摘要（原文）

Radiology report generation (RRG) has recently benefited from large language models, which substantially improve report fluency. However, clinically faithful generation remains challenging because current supervision is still imposed mostly at the report level. This creates a granularity mismatch: radiology reports are composed of disease-grounded findings, while existing methods are trained mainly with whole-report objectives. To address this problem, we propose Graph-Supervised Hierarchical Clinical Alignment, which reformulates image-report supervision as a hierarchical clinical alignment problem. Our method structures this alignment as a disease-conditioned process, where supervision is decomposed into two levels: Disease-Centric Alignment for fine-grained disease-specific correspondence, and Global Clinical Semantic Alignment for report-level semantic coherence. A clinical knowledge graph is used as a training-time-only structural prior that defines disease-specific supervision units and their clinical relationships, introducing no additional overhead at inference. Because standard contrastive alignment could produce false negatives when studies share overlapping pathologies, we combine instance-conditioned discriminative matching with disease-conditioned soft regularization, enabling fine-grained yet clinically consistent cross-modal representations. Experiments on MIMIC-CXR, IU-Xray, and COV-CTR show that our method consistently improves performance on both conventional and clinical metrics. Notably, our 3B model surpasses several prior systems with larger 7B/13B backbones, suggesting that improving supervision structure, rather than increasing model size, can be more effective for RRG.