Automatic Field-of-View Adjustment for a View-Expansive Microscope via LSTM-Based Gaze and Pipette Motion Interpretation

📄 arXiv: 2608.10401v1 📥 PDF

作者: Kenta Yokoe, Takuya Hara, Tadayoshi Aoyama

分类: cs.HC, cs.LG, cs.RO, eess.IV

发布日期: 2026-08-11

备注: This is the accepted version of an article published in IEEE Access 13, 182915-182923 (2025). DOI: 10.1109/ACCESS.2025.3624246. Open Access under CC BY 4.0

期刊: IEEE Access, vol. 13, pp. 182915-182923, 2025

DOI: 10.1109/ACCESS.2025.3624246

💡 一句话要点

提出基于LSTM的自动视野调整方法以提升显微操作效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 自动视野调整 长短期记忆 显微操作 细胞内注射 人工智能 实时分析 操作效率

📋 核心要点

  1. 现有显微镜在ICSI操作中需要频繁手动调整视野，导致工作效率低下和时间浪费。
  2. 本文提出了一种基于LSTM的自动视野调整方法，实时分析操作人员的视线和移液器运动，智能预测所需视野大小。
  3. 实验结果显示，自动视野调整系统显著提升了新手操作员的工作速度，使其达到专家水平，平均任务完成时间减少了20.5秒。

📝 摘要（中文）

在细胞内注射（ICSI）过程中，操作人员频繁调整视野（FOV），这会中断工作流程并增加操作时间。传统显微镜需要手动更换物镜和调整照明以实现不同的视野大小。本文提出了一种基于人工智能的自动视野调整方法，集成于扩视显微镜中。该显微镜通过伺服镜和高速视觉技术，能够同时获取大视野和高分辨率图像，从而消除物理镜头更换的需求。我们的方法利用长短期记忆（LSTM）模型，根据实时分析的移液器位置和速度，以及操作人员的视线位置，预测合适的视野大小。实验结果表明，该系统显著提高了ICSI操作速度，平均任务完成时间从60.5秒减少至48.0秒（p < 0.001）。

🔬 方法详解

问题定义：本文旨在解决ICSI操作中频繁手动调整视野的问题，现有方法导致操作效率低下和时间延误。

核心思路：通过结合LSTM模型对移液器运动和操作人员视线的实时分析，自动预测并调整显微镜的视野大小，以提高操作效率。

技术框架：系统主要包括数据采集模块、LSTM预测模块和自动调整模块。数据采集模块负责实时获取移液器位置和操作人员视线，LSTM模块进行数据分析和预测，自动调整模块则根据预测结果调整显微镜的视野。

关键创新：该研究的创新点在于将LSTM模型应用于显微操作中，实现了视野的自动化调整，显著提高了操作效率，与传统手动调整方法形成鲜明对比。

关键设计：模型训练使用了具有五年以上微操作经验的专家的ICSI过程数据，LSTM网络结构经过优化，损失函数设计为适应实时预测需求，确保了系统的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，自动视野调整系统显著提高了ICSI操作速度，平均任务完成时间从60.5秒减少至48.0秒，提升幅度达到20.5秒（p < 0.001），使新手操作员的工作速度接近专家水平，显示出该系统的有效性和实用性。

🎯 应用场景

该研究的自动视野调整方法可广泛应用于显微操作领域，尤其是在细胞生物学和生物医学工程中，能够显著提高操作效率，减少新手学习曲线，提升实验室的整体工作效率。未来，该技术有潜力扩展到其他需要精细操作的领域，如微纳制造和生物样本处理等。

📄 摘要（原文）

Intracytoplasmic sperm injection (ICSI) operators frequently adjust the field-of-view (FOV) during procedures, which interrupts workflow and increases procedure time. Conventional microscopes require manual objective lens switching and illumination adjustments to achieve different FOV sizes. We propose an AI-based automatic FOV adjustment method integrated with a view-expansive microscope. This microscope enables the simultaneous acquisition of a large FOV and high-resolution images using a single objective lens through multiview imaging with galvanometer mirrors and high-speed vision, thereby eliminating the need for physical lens exchanges. Our method utilizes a long short-term memory (LSTM) model to predict the appropriate FOV size based on real-time analysis of the pipette's position and velocity, combined with the operator's gaze position. The AI model is trained using ICSI procedure data from an expert with over five years of micromanipulation experience. Experimental evaluation with novice operators reveals that the proposed automatic FOV adjustment system significantly improves the ICSI procedure speed, reducing the average task completion time from 60.5 to 48.0 s (p < 0.001). The experiments also demonstrate that this improvement enables novice operators to achieve ICSI working speeds equivalent to those of expert operators.