Zero-Shot Segmentation of Eye Features Using the Segment Anything Model (SAM)

📄 arXiv: 2311.08077v2 📥 PDF

作者: Virmarie Maquiling, Sean Anthony Byrne, Diederick C. Niehorster, Marcus Nyström, Enkelejda Kasneci

分类: cs.CV, cs.AI, cs.HC

发布日期: 2023-11-14 (更新: 2024-04-08)

备注: 14 pages, 8 figures, 1 table, Accepted to ETRA 2024: ACM Symposium on Eye Tracking Research & Applications

DOI: 10.1145/3654704

💡 一句话要点

利用SAM模型实现眼部特征的零样本分割

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 眼部特征分割 零样本学习 基础模型 虚拟现实 图像分割 注视估计 数据标注

📋 核心要点

  1. 现有眼部图像分割方法依赖于大量标注数据，导致数据获取成本高且效率低。
  2. 本文提出利用Segment Anything Model (SAM)进行眼部特征的零样本分割，旨在减少对标注数据的依赖。
  3. 实验结果显示，SAM在瞳孔分割任务中取得了93.34%的IoU，性能与专用模型相当，且通过提示进一步提升了效果。

📝 摘要（中文）

基础模型的出现标志着人工智能的新纪元。本文评估了Segment Anything Model (SAM)在虚拟现实环境中对眼部图像特征进行分割的能力。随着对标注眼部图像数据集需求的增加，SAM有潜力重新定义注视估计中的数据标注方式。研究集中在SAM的零样本学习能力及其在使用边界框或点击点等提示时的有效性。结果表明，SAM的分割效果与专用模型相当，且通过提示可以提高性能，例如在某数据集中，瞳孔分割的IoU达到了93.34%。SAM等基础模型有望通过快速简便的图像分割，减少对专用模型和大量人工标注的依赖，从而革新注视估计领域。

🔬 方法详解

问题定义：本文旨在解决眼部图像分割中对大量标注数据的依赖问题。现有方法通常需要耗费大量时间和资源进行数据标注，限制了其应用范围。

核心思路：论文提出利用Segment Anything Model (SAM)的零样本学习能力，通过简单的提示（如边界框或点击点）来实现眼部特征的分割，降低对标注数据的需求。

技术框架：研究首先在虚拟现实环境中收集眼部图像数据，然后使用SAM模型进行特征分割。模型通过提示信息进行引导，完成对瞳孔等特征的分割。

关键创新：SAM作为首个基础模型，能够在没有训练样本的情况下进行有效的图像分割，显著提高了分割任务的灵活性和效率。与传统方法相比，SAM的设计使其能够快速适应不同的分割任务。

关键设计：在实验中，使用了不同的提示方式（如边界框和点击点），并评估了其对分割效果的影响。通过优化提示的使用，SAM在特定任务中实现了高达93.34%的IoU，展示了其强大的适应能力和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAM在瞳孔分割任务中实现了93.34%的IoU，显示出其分割效果与专用模型相当。通过使用提示信息，SAM的性能得到了显著提升，展示了其在零样本学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实中的用户交互、眼动追踪技术以及医疗图像分析等。通过减少对标注数据的依赖，SAM模型能够加速眼部特征的自动化分析，提升相关领域的研究效率和应用价值。未来，SAM可能在更广泛的计算机视觉任务中发挥重要作用。

📄 摘要（原文）

The advent of foundation models signals a new era in artificial intelligence. The Segment Anything Model (SAM) is the first foundation model for image segmentation. In this study, we evaluate SAM's ability to segment features from eye images recorded in virtual reality setups. The increasing requirement for annotated eye-image datasets presents a significant opportunity for SAM to redefine the landscape of data annotation in gaze estimation. Our investigation centers on SAM's zero-shot learning abilities and the effectiveness of prompts like bounding boxes or point clicks. Our results are consistent with studies in other domains, demonstrating that SAM's segmentation effectiveness can be on-par with specialized models depending on the feature, with prompts improving its performance, evidenced by an IoU of 93.34% for pupil segmentation in one dataset. Foundation models like SAM could revolutionize gaze estimation by enabling quick and easy image segmentation, reducing reliance on specialized models and extensive manual annotation.