Interpreting COVID Lateral Flow Tests' Results with Foundation Models

📄 arXiv: 2404.14990v1 📥 PDF

作者: Stuti Pandey, Josh Myers-Dean, Jarek Reynolds, Danna Gurari

分类: cs.CV, eess.IV

发布日期: 2024-04-21

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

利用基础模型自动解读COVID快速检测结果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 侧流检测 基础模型 视觉语言模型 自动读取 数据集构建 健康监测 机器学习

📋 核心要点

  1. 现有的LFT自动读取方法在准确性和鲁棒性上存在不足，尤其是在复杂场景下的识别能力较弱。
  2. 本文提出了一种基于现代基础视觉语言模型的解读方法，并创建了LFT-Grounding数据集以支持这一研究。
  3. 实验结果显示，当前VLM在多项任务上表现不佳，尤其是在识别和解读LFT测试结果方面，亟需改进。

📝 摘要（中文）

侧流检测（LFT）能够快速、低成本地检测健康状况，包括COVID、怀孕、HIV和疟疾。LFT结果的自动读取可以为盲人提供独立了解健康状况的能力，并加速大规模监测的数据录入。本文探索了现代基础视觉语言模型（VLMs）在解读这些检测结果中的能力。为此，我们创建了一个新的标注数据集LFT-Grounding，并在零-shot设置下对八种现代VLM进行了基准测试。结果表明，当前的VLM在识别LFT测试类型、解读测试结果、定位嵌套结果窗口及识别部分遮挡的LFT测试时，表现不佳。为促进社区在自动LFT读取方面的进展，我们公开发布了数据集。

🔬 方法详解

问题定义：本文旨在解决现有LFT自动读取方法在准确性和鲁棒性上的不足，尤其是在复杂和部分遮挡的情况下，现有模型常常无法正确识别测试类型和结果。

核心思路：通过创建一个新的标注数据集LFT-Grounding，并利用现代基础视觉语言模型进行零-shot分析，探索其在解读LFT结果中的潜力。

技术框架：研究流程包括数据集的构建、模型的选择与基准测试，主要模块包括数据预处理、模型训练与评估。

关键创新：最重要的创新在于构建了LFT-Grounding数据集，并在此基础上评估了多种VLM的性能，揭示了其在LFT解读中的局限性。

关键设计：在模型选择上，本文基于八种现代VLM进行评估，采用了标准的评估指标来衡量模型在不同任务上的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，当前的VLM在识别LFT测试类型和解读测试结果方面的准确率普遍较低，尤其是在部分遮挡的情况下，识别率下降显著。这表明在自动化LFT读取领域仍需进一步的技术突破。

🎯 应用场景

该研究的潜在应用领域包括医疗健康监测、疫情防控和辅助技术等。通过提高LFT结果的自动解读能力，可以帮助更多人群，尤其是视障人士，独立获取健康信息，并为公共卫生数据的快速收集提供支持。

📄 摘要（原文）

Lateral flow tests (LFTs) enable rapid, low-cost testing for health conditions including Covid, pregnancy, HIV, and malaria. Automated readers of LFT results can yield many benefits including empowering blind people to independently learn about their health and accelerating data entry for large-scale monitoring (e.g., for pandemics such as Covid) by using only a single photograph per LFT test. Accordingly, we explore the abilities of modern foundation vision language models (VLMs) in interpreting such tests. To enable this analysis, we first create a new labeled dataset with hierarchical segmentations of each LFT test and its nested test result window. We call this dataset LFT-Grounding. Next, we benchmark eight modern VLMs in zero-shot settings for analyzing these images. We demonstrate that current VLMs frequently fail to correctly identify the type of LFT test, interpret the test results, locate the nested result window of the LFT tests, and recognize LFT tests when they partially obfuscated. To facilitate community-wide progress towards automated LFT reading, we publicly release our dataset at https://iamstuti.github.io/lft_grounding_foundation_models/.