FocusMAE: Gallbladder Cancer Detection from Ultrasound Videos with Focused Masked Autoencoders

📄 arXiv: 2403.08848v2 📥 PDF

作者: Soumen Basu, Mayuna Gupta, Chetan Madan, Pankaj Gupta, Chetan Arora

分类: eess.IV, cs.CV

发布日期: 2024-03-13 (更新: 2024-03-29)

备注: To Appear at CVPR 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出FocusMAE以解决超声视频中的胆囊癌检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 胆囊癌检测 超声视频分析 掩码自编码器 时空特征学习 医疗影像处理

📋 核心要点

  1. 现有的超声图像方法在胆囊癌检测中泛化能力不足，单帧图像信息有限，难以捕捉疾病表现。
  2. 本文提出FocusMAE，通过聚焦高信息区域的掩码选择，利用视频的时空特性进行更精确的GBC检测。
  3. 在自建数据集上，FocusMAE达到了96.4%的准确率，超越了现有图像和视频方法，展示了其有效性和通用性。

📝 摘要（中文）

近年来，自动化胆囊癌（GBC）检测引起了研究者的关注。现有基于超声图像的方法在泛化能力上存在局限，亟需变革性的方法。本文提出FocusMAE，利用视频的时空特性进行GBC检测，克服了传统图像方法的不足。我们还贡献了最大的超声视频数据集，并在此数据集上验证了方法，取得了96.4%的新状态-of-the-art（SOTA）准确率，显著高于现有图像和视频方法的准确率。我们还展示了FocusMAE在公共CT基础Covid检测数据集上的通用性，准确率提升3.3%。

🔬 方法详解

问题定义：本文旨在解决超声视频中胆囊癌检测的准确性问题。现有方法主要依赖单帧图像，导致信息不足，泛化能力差。

核心思路：FocusMAE通过引入掩码自编码器，系统性地选择高信息区域进行掩码，从而提升对恶性肿瘤的表示能力，充分利用视频的时空信息。

技术框架：该方法包括数据预处理、掩码选择、特征提取和分类四个主要模块。首先对超声视频进行处理，然后通过FocusMAE进行特征学习，最后进行分类以识别胆囊癌。

关键创新：FocusMAE的核心创新在于其掩码选择机制，优先选择高信息区域进行学习，这一设计显著提升了模型对肿瘤特征的捕捉能力，与传统方法相比具有本质区别。

关键设计：在网络结构上，FocusMAE采用了多层自编码器架构，结合了适应性掩码选择策略。损失函数设计上，强调了对高信息区域的学习，确保模型能够有效捕捉到关键特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在自建的超声视频数据集上，FocusMAE达到了96.4%的准确率，显著高于现有图像方法GBCNet（84%）和RadFormer（94.7%），以及视频方法AdaMAE（94.7%）。此外，在公共CT基础Covid检测数据集上，FocusMAE的准确率提升了3.3%，展示了其良好的通用性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动化诊断系统以及癌症早期筛查等。通过提升胆囊癌检测的准确性，FocusMAE有望在临床实践中提供更可靠的辅助决策支持，进而改善患者的治疗效果和生存率。未来，该方法也可以扩展到其他类型的肿瘤检测和医疗影像分析任务中。

📄 摘要（原文）

In recent years, automated Gallbladder Cancer (GBC) detection has gained the attention of researchers. Current state-of-the-art (SOTA) methodologies relying on ultrasound sonography (US) images exhibit limited generalization, emphasizing the need for transformative approaches. We observe that individual US frames may lack sufficient information to capture disease manifestation. This study advocates for a paradigm shift towards video-based GBC detection, leveraging the inherent advantages of spatiotemporal representations. Employing the Masked Autoencoder (MAE) for representation learning, we address shortcomings in conventional image-based methods. We propose a novel design called FocusMAE to systematically bias the selection of masking tokens from high-information regions, fostering a more refined representation of malignancy. Additionally, we contribute the most extensive US video dataset for GBC detection. We also note that, this is the first study on US video-based GBC detection. We validate the proposed methods on the curated dataset, and report a new state-of-the-art (SOTA) accuracy of 96.4% for the GBC detection problem, against an accuracy of 84% by current Image-based SOTA - GBCNet, and RadFormer, and 94.7% by Video-based SOTA - AdaMAE. We further demonstrate the generality of the proposed FocusMAE on a public CT-based Covid detection dataset, reporting an improvement in accuracy by 3.3% over current baselines. The source code and pretrained models are available at: https://gbc-iitd.github.io/focusmae