MISS: A Generative Pretraining and Finetuning Approach for Med-VQA

📄 arXiv: 2401.05163v3 📥 PDF

作者: Jiawei Chen, Dingkang Yang, Yue Jiang, Yuxuan Lei, Lihua Zhang

分类: cs.CV, cs.AI

发布日期: 2024-01-10 (更新: 2024-06-19)

备注: ICANN, 2024

💡 一句话要点

提出MISS框架以解决医疗视觉问答中的数据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗视觉问答 多模态学习 自监督学习 生成模型 特征对齐 大型语言模型 数据扩展

📋 核心要点

  1. 现有医疗VQA方法多将其视为答案分类任务，难以适应实际应用场景，且缺乏大规模标注数据。
  2. 本文提出MISS框架，将医疗VQA视为生成任务，结合多任务学习对齐图像和文本特征，提升模型性能。
  3. 实验结果显示，MISS在较少的多模态数据集上表现优异，验证了生成VQA模型的有效性和优势。

📝 摘要（中文）

医疗视觉问答（VQA）是一项具有挑战性的多模态任务，视觉语言预训练（VLP）模型能够有效提升泛化性能。然而，现有方法多将VQA视为答案分类任务，难以转化为实际应用。此外，由于医疗图像的隐私性和昂贵的标注过程，大规模的医疗图像-文本对数据集严重缺乏。本文提出了一种基于大规模多任务自监督学习的框架（MISS），将医疗VQA视为生成任务，统一文本编码器和多模态编码器，通过多任务学习对齐图像-文本特征。此外，提出的转移与描述方法利用大型语言模型（LLMs）扩展单模态图像数据集的特征空间，使传统医疗视觉任务数据能够应用于VLP。实验结果表明，所提方法在较少的多模态数据集上取得了优异的效果，展示了生成VQA模型的优势。

🔬 方法详解

问题定义：本文旨在解决医疗视觉问答（VQA）中现有方法将任务视为答案分类的局限性，导致难以应用于实际场景，同时缺乏大规模标注数据的问题。

核心思路：提出MISS框架，将医疗VQA视为生成任务，通过统一文本编码器和多模态编码器，利用多任务学习对齐图像和文本特征，以提升模型的泛化能力和实际应用效果。

技术框架：MISS框架包含多个模块，首先通过自监督学习生成医疗图像和文本特征，然后利用大型语言模型（LLMs）扩展特征空间，最后进行多任务学习以实现图像-文本特征的对齐。

关键创新：最重要的创新在于将医疗VQA视为生成任务，而非传统的分类任务，这一转变使得模型能够更好地适应实际应用场景，并有效利用较少的多模态数据。

关键设计：在模型设计中，采用了多任务学习策略，结合了不同损失函数以优化生成效果，同时在特征扩展过程中，利用大型语言模型增强了单模态数据的表达能力。通过这些设计，MISS框架在医疗VQA任务中展现出显著的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MISS框架在较少的多模态数据集上取得了显著的性能提升，相较于基线方法，准确率提高了XX%，展示了生成VQA模型在医疗领域的优势和有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、智能诊断系统和医疗辅助决策等。通过提升医疗VQA的性能，MISS框架能够帮助医生更高效地获取信息，改善患者的诊疗体验，未来可能在医疗行业产生深远的影响。

📄 摘要（原文）

Medical visual question answering (VQA) is a challenging multimodal task, where Vision-Language Pre-training (VLP) models can effectively improve the generalization performance. However, most methods in the medical field treat VQA as an answer classification task which is difficult to transfer to practical application scenarios. Additionally, due to the privacy of medical images and the expensive annotation process, large-scale medical image-text pairs datasets for pretraining are severely lacking. In this paper, we propose a large-scale MultI-task Self-Supervised learning based framework (MISS) for medical VQA tasks. Unlike existing methods, we treat medical VQA as a generative task. We unify the text encoder and multimodal encoder and align image-text features through multi-task learning. Furthermore, we propose a Transfer-and-Caption method that extends the feature space of single-modal image datasets using Large Language Models (LLMs), enabling those traditional medical vision field task data to be applied to VLP. Experiments show that our method achieves excellent results with fewer multimodal datasets and demonstrates the advantages of generative VQA models.