MMIR-TCM: Memory-Integrated Multimodal Inference and Retrieval for TCM Clinical Decision Support

📄 arXiv: 2607.01814v1 📥 PDF

作者: Lihui Luo, Joongwon Chae, Ziyan Chen, Yang Liu, Siyi Cheng, Weihan Gao, Zelin Zeng, Xiaoming Yin, Samaneh Beheshti Kashi, Dongmei Yu, Lian Zhang, Jing Sui, Zeming Liang, Jiansong Ji, Peter E. Lobie, Peiwu Qin

分类: cs.AI

发布日期: 2026-07-02

💡 一句话要点

提出MMIR-TCM以解决中医临床决策支持中的主观性与可重复性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 中医诊断 多模态人工智能 舌象分析 临床决策支持 记忆增强技术 数据集开发 模型评估

📋 核心要点

  1. 现有中医诊断方法在舌象检查中存在主观性和可重复性不足的问题，限制了临床应用的有效性。
  2. MMIR-TCM框架通过集成多模态大语言模型与记忆增强技术，模拟中医专家的诊断过程，提供更准确的临床决策支持。
  3. 实验结果表明，MMIR-TCM在临床准确性上显著优于现有领先模型，如GPT-4o和Gemini 2.5 Flash，展示了其有效性。

📝 摘要（中文）

传统中医（TCM）诊断，尤其是通过舌象检查，面临着主观性和可重复性的问题。多模态人工智能在TCM临床任务中的应用受到视觉舌象特征与文本推理之间的语义差距以及缺乏大规模标准化数据集的限制。为了解决这些挑战，本文提出了MMIR-TCM框架，通过集成多模态大语言模型（MLLM）与记忆增强的分割和检索增强生成（RAG），模拟中医专家的诊断过程。该框架采用三阶段架构，结合了无训练的Memory-SAM模块、微调的Qwen3-VL模型和基于Qwen3的RAG组件，经过MedTCM数据集的开发和验证，展示了显著的临床决策支持能力。

🔬 方法详解

问题定义：本文旨在解决传统中医诊断中舌象检查的主观性和可重复性问题，现有方法在多模态人工智能应用中面临语义差距和数据集不足的挑战。

核心思路：MMIR-TCM框架通过集成多模态大语言模型与记忆增强技术，模拟中医专家的诊断过程，旨在提高舌象分析的准确性和一致性。

技术框架：该框架采用三阶段架构，包括无训练的Memory-SAM模块用于舌象提取，微调的Qwen3-VL模型用于结构化舌象诊断生成，以及基于Qwen3的RAG组件用于生成基于证据的临床决策支持。

关键创新：最重要的创新点在于引入了Memory-SAM模块和RAG组件，使得模型能够在没有大量标注数据的情况下，依然实现高效的舌象分析和临床决策支持。

关键设计：在设计中，Memory-SAM模块采用无训练的方式进行舌象提取，Qwen3-VL模型经过精细调优以适应舌象诊断，而RAG组件则确保生成的决策支持基于真实证据，提升了模型的临床适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MMIR-TCM在临床准确性上显著优于现有模型，具体表现为在多个评估指标上超越了GPT-4o和Gemini 2.5 Flash，提升幅度达到XX%（具体数据未知），证明了其在中医临床决策支持中的有效性。

🎯 应用场景

该研究的潜在应用领域包括中医诊断辅助工具的开发，能够帮助医生在舌象分析中提供更准确的建议。此外，MMIR-TCM框架的设计理念也可扩展到其他医学领域的多模态数据分析，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Traditional Chinese Medicine (TCM) diagnosis, particularly through tongue inspection, faces persistent challenges in subjectivity and reproducibility. The application of multimodal artificial intelligence to TCM clinical tasks, such as syndrome differentiation and prescription generation, is significantly hampered by the semantic gap between visual tongue features and textual reasoning, as well as the lack of large-scale, standardized datasets. To address these challenges, we introduce MMIR-TCM, a novel framework that emulates the diagnostic process of TCM experts by integrating multimodal large language model(MLLM) with memory-augmented segmentation and retrieval-augmented generation (RAG). Employing a three-stage architecture, MMIR-TCM integrates a training-free Memory-SAM module for robust tongue extraction, a fine-tuned Qwen3-VL model for structured tongue diagnosis generation, and a Qwen3-based RAG component for evidence-grounded clinical decision support generation. The framework was developed and validated using MedTCM, a new large-scale multimodal dataset that we introduce specifically for advanced TCM research. To properly evaluate our framework's clinical accuracy, which existing metrics fail to capture, we also developed TDEU, a domain-specific evaluation metric incorporating semantic understanding and diagnostic importance. Our comprehensive experiments demonstrate that MMIR-TCM significantly outperforms leading models, including GPT-4o and Gemini 2.5 Flash.