Fine-tuning a multimodal large language model for clinician-grade autism behavioral scoring from short home videos

📄 arXiv: 2606.27484v1 📥 PDF

作者: Mohammadmahdi Honarmand, Parnian Azizian, Aaron Kline, Kae Nurge, Zerin Nasrin Tumpa, Saimourya Surabhi, Kaitlyn Dunlap, Yang Qian, Ali Kargarandehkordi, Sameer Neupane, Peter Washington, Dennis P. Wall

分类: cs.CV

发布日期: 2026-06-25

💡 一句话要点

提出多模态大语言模型以解决自闭症行为评分问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自闭症诊断 多模态学习 行为特征提取 机器学习 临床应用

📋 核心要点

  1. 现有方法在自闭症早期诊断中面临挑战，诊断通常延迟至四岁以上，影响早期干预。
  2. 本文通过微调Gemini 2.5 Pro，利用400个家庭视频和30个行为特征，提升自闭症行为评分的准确性。
  3. 实验结果表明，微调后的模型在与临床医生评分的一致性上提高了40%，并在直接ASD诊断中F1分数提升了53%。

📝 摘要（中文）

自闭症谱系障碍（ASD）影响美国每31名儿童中的1名，但诊断的中位年龄超过四岁。利用人工智能管道，通过易于获取的观察数据（如家庭视频）提供量化诊断，有助于早期诊断和及时治疗。本文对Gemini 2.5 Pro进行了微调，使用400个临床评分的家庭视频，专注于30个经过验证的行为特征。实验结果显示，与临床医生的评分一致性提高了40%，直接的ASD诊断F1分数提高了53%。微调后的多模态LLM可作为自闭症评估和诊断的可扩展行为特征提取器。

🔬 方法详解

问题定义：本文旨在解决自闭症谱系障碍（ASD）早期诊断中的延迟问题，现有方法依赖于临床评估，缺乏有效的自动化工具。

核心思路：通过微调多模态大语言模型（Gemini 2.5 Pro），利用家庭视频数据提取行为特征，以实现更早的自闭症诊断。

技术框架：整体流程包括数据收集、模型微调和行为特征提取。首先收集400个临床评分的家庭视频，然后在这些数据上进行低秩适应的微调，最后提取30个经过验证的行为特征进行分析。

关键创新：最重要的创新在于将多模态大语言模型应用于自闭症行为评分，显著提高了与临床医生评分的一致性和准确性，尤其是在零样本学习能力上表现突出。

关键设计：模型微调过程中，采用低秩适应技术，专注于30个行为特征的训练，确保模型在特征提取时的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调后的模型在与临床医生评分的一致性上提高了40%（p<0.001），在直接ASD诊断的F1分数上提升了53%（p<0.001），并且分类器辅助的管道在所有测试路径中达到了77%的准确率（95% CI: 68-85%）和86%的AUC（95% CI: 78-92%）。

🎯 应用场景

该研究的潜在应用领域包括自闭症的早期筛查和诊断，能够为临床医生提供辅助工具，提升诊断效率和准确性。未来，该技术可能扩展到其他行为健康领域，推动智能化评估工具的发展。

📄 摘要（原文）

Autism spectrum disorder (ASD) affects 1 in 31 US children, yet median age at diagnosis exceeds four years. Artificial intelligence pipelines that provide quantified diagnosis using easy to access observational data (e.g., home videos) could help with earlier diagnosis, and timely delivery of early treatments. We fine-tuned Gemini 2.5 Pro on 400 clinician-rated home videos with low-rank adaptation, training only on 30 behavioral features previously validated to produce reliable predictions when passed to various ML models. On 99 held-out children (49 ASD, 50 neurotypical), inter-rater reliability with clinicians (per-feature weighted Cohen's kappa) improved by 40% (p<0.001), with 27 of 28 evaluable features improving. As an emergent zero-shot capability, direct ASD diagnosis F1 improved by 53% (p<0.001), matching or exceeding clinician outcomes. Classifier-assisted pipelines using fine-tuned LLM-derived behavioral features matched clinician-scored inputs across all tested pathways and achieved 77% accuracy (95% CI: 68-85%) and an AUC of 86% (95% CI: 78-92%). Fine-tuned multimodal LLMs can serve as scalable behavioral feature extractors for use in autism assessment and diagnosis.