Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology

📄 arXiv: 2404.10242v1 📥 PDF

作者: Oren Kraus, Kian Kenyon-Dean, Saber Saberian, Maryam Fallah, Peter McLean, Jess Leung, Vasudev Sharma, Ayla Khan, Jia Balakrishnan, Safiye Celik, Dominique Beaini, Maciej Sypetkowski, Chi Vicky Cheng, Kristen Morse, Maureen Makes, Ben Mabey, Berton Earnshaw

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-04-16

备注: CVPR 2024 Highlight. arXiv admin note: text overlap with arXiv:2309.16064

期刊: 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

DOI: 10.1109/CVPR52733.2024.01117

💡 一句话要点

提出通道无关的自监督学习方法以解决显微镜图像特征提取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 显微镜图像 自监督学习 掩码自编码器 细胞生物学 深度学习 生物医学影像 模型泛化 药物发现

📋 核心要点

  1. 现有的显微镜图像特征提取方法在处理大规模数据时面临效率低下和准确性不足的挑战。
  2. 论文提出了一种新的通道无关自监督掩码自编码器（CA-MAE），能够适应不同的图像通道结构，提高模型的通用性。
  3. 实验结果显示，基于ViT的MAEs在多项任务中相较于弱监督分类器有显著提升，尤其是在生物关系的回忆任务中。

📝 摘要（中文）

显微镜图像特征提取在生物研究中仍然是一个重大挑战，尤其是在涉及数百万张图像的大规模实验中。本研究探讨了弱监督分类器和自监督掩码自编码器（MAEs）的扩展特性，结果表明基于ViT的MAEs在多种任务上优于弱监督分类器，达到了11.5%的相对提升。此外，我们开发了一种新的通道无关MAE架构（CA-MAE），能够在推理时输入不同数量和顺序的通道图像。我们的研究结果激励了对显微镜数据自监督学习的进一步研究，以创建强大的细胞生物学基础模型，推动药物发现等领域的进展。

🔬 方法详解

问题定义：本研究旨在解决显微镜图像特征提取的效率和准确性问题，现有方法在处理大规模数据时表现不佳，难以有效捕捉生物学关系。

核心思路：论文提出的CA-MAE架构通过通道无关的设计，允许在推理时输入不同数量和顺序的通道图像，从而增强模型的灵活性和适应性。

技术框架：整体架构包括数据预处理、模型训练和推理三个主要阶段。在训练阶段，使用自监督学习方法来优化模型参数，并通过掩码机制增强特征学习。

关键创新：CA-MAE的设计是本研究的核心创新，与传统的自监督学习方法相比，它能够处理多样化的输入图像通道，显著提高了模型的泛化能力。

关键设计：在模型设计中，采用了特定的损失函数来优化特征提取效果，并通过调整网络结构以适应不同的输入通道配置，确保模型在不同实验条件下的有效性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，基于ViT的MAEs在多项任务中表现优异，相较于弱监督分类器实现了最高11.5%的相对提升，尤其在回忆已知生物关系的任务中表现突出，显示出CA-MAE的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括细胞生物学、药物发现和生物医学影像分析。通过构建强大的基础模型，研究者可以更高效地分析显微镜图像，推动生物医学研究的进展，尤其是在新药开发和疾病机制研究方面。

📄 摘要（原文）

Featurizing microscopy images for use in biological research remains a significant challenge, especially for large-scale experiments spanning millions of images. This work explores the scaling properties of weakly supervised classifiers and self-supervised masked autoencoders (MAEs) when training with increasingly larger model backbones and microscopy datasets. Our results show that ViT-based MAEs outperform weakly supervised classifiers on a variety of tasks, achieving as much as a 11.5% relative improvement when recalling known biological relationships curated from public databases. Additionally, we develop a new channel-agnostic MAE architecture (CA-MAE) that allows for inputting images of different numbers and orders of channels at inference time. We demonstrate that CA-MAEs effectively generalize by inferring and evaluating on a microscopy image dataset (JUMP-CP) generated under different experimental conditions with a different channel structure than our pretraining data (RPI-93M). Our findings motivate continued research into scaling self-supervised learning on microscopy data in order to create powerful foundation models of cellular biology that have the potential to catalyze advancements in drug discovery and beyond.