Video-based automatic lameness detection of dairy cows using pose estimation and multiple locomotion traits

📄 arXiv: 2401.05202v2 📥 PDF

作者: Helena Russello, Rik van der Tol, Menno Holzhauer, Eldert J. van Henten, Gert Kootstra

分类: cs.CV

发布日期: 2024-01-10 (更新: 2025-08-14)

期刊: Computers and Electronics in Agriculture 223 (2024): 109040

DOI: 10.1016/j.compag.2024.109040

💡 一句话要点

提出基于视频的自动化牛只跛行检测系统以解决动物健康监测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 牛只健康监测 深度学习 姿态估计 运动特征提取 自动化检测 奶牛养殖 视频分析

📋 核心要点

  1. 现有的牛只跛行检测方法多依赖人工观察，效率低且主观性强，难以实现实时监测。
  2. 本研究提出了一种基于视频分析的自动化检测系统，利用深度学习提取多种运动特征以提高检测准确性。
  3. 实验结果显示，使用三种重要特征时分类准确率达到79.9%，而使用六种特征时进一步提升至80.1%。

📝 摘要（中文）

本研究提出了一种自动化的牛只跛行检测系统，利用深度学习图像处理技术提取与跛行相关的多种运动特征。采用T-LEAP姿态估计模型，从行走牛只的视频中提取九个关键点的运动。视频在户外不同光照条件下录制，T-LEAP成功提取了99.6%的正确关键点。通过计算六个运动特征，包括背部姿势、头部摆动、跟踪距离、步幅、站立时间和摆动时间，发现背部姿势、头部摆动和跟踪距离是最重要的特征。研究表明，结合多个运动特征可以将分类准确率从76.6%提升至80.1%。

🔬 方法详解

问题定义：本研究旨在解决传统牛只跛行检测方法的低效率和主观性问题，现有方法依赖人工观察，难以实现实时和准确的监测。

核心思路：论文提出了一种基于视频的自动化检测系统，通过深度学习提取牛只行走时的运动特征，以实现高效且客观的跛行检测。

技术框架：整体架构包括视频数据采集、T-LEAP姿态估计模型的应用、关键点运动轨迹提取，以及基于提取的运动特征进行分类的模块。

关键创新：最重要的技术创新在于结合多个运动特征进行跛行检测，显著提高了分类准确率，与传统方法相比，提供了更全面的分析视角。

关键设计：在技术细节上，采用了T-LEAP模型进行关键点提取，设置了六个运动特征，并通过合理合并观察者评分来提高一致性和可靠性。实验中，使用了特定的损失函数和网络结构以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用三种重要运动特征时，分类准确率达到79.9%，而使用全部六种特征时，准确率进一步提升至80.1%。这一提升相较于仅使用单一特征的76.6%有显著进步，展示了多特征融合的有效性。

🎯 应用场景

该研究的自动化牛只跛行检测系统可广泛应用于奶牛养殖场的健康监测，帮助农场主及时发现和处理牛只健康问题，提升养殖效率和动物福利。未来，该技术还可扩展到其他动物健康监测领域，具有重要的实际价值。

📄 摘要（原文）

This study presents an automated lameness detection system that uses deep-learning image processing techniques to extract multiple locomotion traits associated with lameness. Using the T-LEAP pose estimation model, the motion of nine keypoints was extracted from videos of walking cows. The videos were recorded outdoors, with varying illumination conditions, and T-LEAP extracted 99.6% of correct keypoints. The trajectories of the keypoints were then used to compute six locomotion traits: back posture measurement, head bobbing, tracking distance, stride length, stance duration, and swing duration. The three most important traits were back posture measurement, head bobbing, and tracking distance. For the ground truth, we showed that a thoughtful merging of the scores of the observers could improve intra-observer reliability and agreement. We showed that including multiple locomotion traits improves the classification accuracy from 76.6% with only one trait to 79.9% with the three most important traits and to 80.1% with all six locomotion traits.