NeoRed: A Knowledge-Logic-Alignment Multimodal Large Language Model for Neonatal Respiratory Disease Diagnosis

📄 arXiv: 2609.03527v1 📥 PDF

作者: Yinan Liu, Hongtai Xia, Haoran Xu, Jiankang Hong, Jingkuan Song, Ye Luo

分类: cs.AI

发布日期: 2026-09-03

备注: 9 pages 10 figures

💡 一句话要点

提出NeoRed以解决新生儿呼吸疾病诊断中的多模态数据整合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 新生儿呼吸疾病 多模态大语言模型 知识-逻辑-对齐 临床诊断 医学影像分析 深度学习 模型优化

📋 核心要点

  1. 现有的多模态大语言模型在新生儿呼吸疾病诊断中存在领域差距和多维临床背景整合不足的问题。
  2. 提出了NeoRed，通过知识-逻辑-对齐框架，整合多模态数据以提高新生儿疾病的诊断准确性。
  3. 实验结果显示，NeoRed在新生儿数据集上表现优异，ROUGE-L达到53.29%，F1分数为65.19%，超越了现有模型。

📝 摘要（中文）

新生儿呼吸疾病是导致新生儿发病率和死亡率的主要原因，给临床实践带来了重大挑战。尽管近年来有所进展，现有的多模态大语言模型（MLLMs）在新生儿诊断中面临两个主要限制：一是由于训练数据主要集中于成人，导致领域差距；二是对多维临床背景的整合不足。为了解决这些问题，本文收集了两个真实世界的临床数据集（NeoCXR和NeoCXR-EV），并提出了NeoRed，这是首个针对新生儿呼吸疾病量身定制的MLLM，填补了新生儿诊断报告生成的空白。通过设计知识-逻辑-对齐（KLA）框架，NeoRed能够从异构临床背景和胸部X光片中增强联合诊断。实验结果表明，NeoRed在NeoCXR上实现了53.29%的ROUGE-L和65.19%的临床有效性F1分数，超越了现有的MLLMs。

🔬 方法详解

问题定义：本文旨在解决新生儿呼吸疾病诊断中存在的领域差距和多维临床背景整合不足的问题。现有的多模态大语言模型主要基于成人数据，导致其在新生儿领域的应用效果不佳。

核心思路：论文提出的NeoRed模型通过知识-逻辑-对齐框架，结合临床知识和逻辑约束，增强了模型对新生儿呼吸疾病的诊断能力。该设计旨在通过引入专业知识来指导模型的注意力机制，从而提高诊断的准确性。

技术框架：NeoRed的整体架构包括三个主要模块：知识优先注入（KPI）、诊断逻辑约束（DLC）和视觉语义对齐（VSA）。KPI模块将新生儿专家的诊断先验融入多模态表示中，DLC模块确保生成报告的语义与多模态诊断逻辑一致，VSA模块则建立视觉特征与影像结论之间的语义对应关系。

关键创新：NeoRed的关键创新在于其知识-逻辑-对齐框架，特别是通过KPI、DLC和VSA的结合，显著提升了新生儿呼吸疾病的诊断能力。这一方法与现有模型的本质区别在于其对多模态数据的深度整合和专业知识的有效利用。

关键设计：在模型设计中，KPI模块通过引入专家知识来调整模型的注意力权重，DLC模块通过特定的损失函数来约束生成报告的语义一致性，VSA模块则利用卷积神经网络提取视觉特征，确保视觉信息与文本信息的有效对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NeoRed在NeoCXR数据集上实现了53.29%的ROUGE-L和65.19%的临床有效性F1分数，显著优于现有的多模态大语言模型。此外，NeoRed在成人基准数据集（MIMIC-CXR和IU-Xray）上也保持了竞争力的报告生成性能，表明其模型的广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括新生儿重症监护、临床决策支持系统以及医疗影像分析等。通过提高新生儿呼吸疾病的诊断准确性，NeoRed能够在临床实践中减少误诊率，提高新生儿的生存率，具有重要的实际价值和社会影响。

📄 摘要（原文）

Neonatal respiratory diseases are a major cause of neonatal morbidity and mortality, posing substantial challenges in clinical practice. Despite recent advances, existing Multimodal Large Language Models (MLLMs) face two key limitations in neonatal diagnosis: (1) domain gap arising from predominantly adult training data; (2) insufficient integration of multidimensional clinical context for accurate diagnosis. To address these challenges, we collect two real-world clinical datasets (NeoCXR and NeoCXR-EV) and propose NeoRed, to the best of our knowledge, the first MLLM tailored for neonatal respiratory disease, filling the gap in neonatal diagnostic reports generation. To enhance joint diagnosis from heterogeneous clinical context and chest X-rays, we design a novel Knowledge-Logic-Alignment (KLA) framework which constrains model behavior from three perspectives: 1) Knowledge Prior Injection (KPI) incorporates neonatologist-inspired diagnostic priors into multimodal representations, guiding disease-specific attention across modalities; 2) Diagnostic Logic Constraint (DLC) aligns the semantics of generated reports with multimodal diagnostic logic; and 3) Visual Semantic Alignment (VSA) establishes semantic correspondence between visual features and imaging conclusions. Extensive experiments demonstrate that NeoRed enables accurate neonatal diagnostic reports generation, achieving ROUGE-L of 53.29% and Clinical Efficacy F1 score of 65.19% on NeoCXR, outperforming existing MLLMs. NeoRed also preserves competitive report generation performance on adult benchmarks (MIMIC-CXR and IU-Xray). Datasets will be available upon application.