Multimodal fusion of visual and morphometric features for avian bone classification
作者: Nevio Dubbini, Lisa Yeomans, Marco Pavia, Ramazan Parmaksiz, Ayse Atas Hooglugt, Gabriele Gattiglia, Beatrice Demarchi
分类: cs.CV, cs.AI
发布日期: 2026-07-29
💡 一句话要点
提出多模态框架以解决鸟类骨骼分类问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 鸟类骨骼分类 卷积神经网络 形态测量 深度学习 动物考古学 图像分析
📋 核心要点
- 现有方法在鸟类骨骼识别中应用有限，缺乏有效的多模态融合技术。
- 本研究提出了一种结合图像分析与骨骼测量数据的多模态框架，提升分类准确性。
- 模型在骨骼类型分类中取得86%准确率，家族级分类也显示出较好的潜力，表明方法有效性。
📝 摘要（中文）
人工智能在考古学中的应用潜力巨大，但在动物考古学，尤其是鸟类骨骼识别方面仍然有限。本研究提出了一种多模态框架，结合基于卷积神经网络的图像分析与骨骼测量数据，进行鸟类骨骼分类。使用超过10,000张来自多个博物馆和研究机构的图像，研究了骨骼元素识别和家族级分类两个任务。模型在骨骼类型分类测试集上达到了86%的准确率，显示出对骨骼元素的可靠识别。家族级分类的挑战性较大，达到了51%的top-1准确率和75%的top-3准确率，表明正确的分类常常出现在最可能的预测中。这些结果展示了在统一深度学习框架中结合视觉和形态信息的可行性，为未来的AI辅助动物考古学识别奠定了方法基础。
🔬 方法详解
问题定义：本研究旨在解决鸟类骨骼识别中的分类问题，现有方法在处理复杂的形态特征和视觉信息时存在不足，导致识别准确率低下。
核心思路：通过结合卷积神经网络提取的视觉特征与标准化的形态测量数据，构建一个多模态融合框架，以提高鸟类骨骼的分类性能。
技术框架：整体架构包括两个主要阶段：首先使用BiRefNet和SAM2进行图像的自动分割，然后通过预训练的EfficientNet_V2_S提取视觉特征，最后将这些特征与形态数据融合进行分类。
关键创新：该研究的创新点在于首次将视觉特征与形态测量数据进行有效融合，形成统一的深度学习框架，克服了传统方法的局限性。
关键设计：在模型设计中，采用了特征级融合策略，损失函数设计为适应多模态数据的特性，确保了模型在训练过程中的稳定性和准确性。使用的网络结构为EfficientNet_V2_S，具有较高的特征提取能力。
🖼️ 关键图片
📊 实验亮点
在实验中，模型在骨骼类型分类任务中达到了86%的准确率，显示出对骨骼元素的可靠识别能力。尽管家族级分类的top-1准确率为51%，但top-3准确率达到了75%，表明该方法在多模态融合方面的有效性和潜力。
🎯 应用场景
该研究的多模态框架可广泛应用于动物考古学、古生物学等领域，帮助研究人员更准确地识别和分类鸟类骨骼，推动相关研究的深入发展。未来，该方法还可扩展至其他动物骨骼的识别与分类，具有重要的实际价值和影响力。
📄 摘要（原文）
Artificial intelligence has shown considerable potential for archaeological applications, yet its use in zooarchaeology remains limited, particularly for the identification of avian skeletal remains. This study presents a proof-of-concept multimodal framework that integrates convolutional neural network-based image analysis with osteometric measurements for the classification of bird bones. Using a dataset of more than 10,000 images from multiple museum and research collections, two classification tasks were investigated: skeletal element identification and family-level taxonomic classification. Prior to classification, images were automatically segmented using a two-stage pipeline combining BiRefNet and SAM2. Visual features extracted with a pre-trained EfficientNet_V2_S backbone were fused with standardized morphometric data through a feature-level multimodal architecture. The model achieved 86% accuracy on the test set for bone-type classification, demonstrating reliable recognition of skeletal elements. Family-level classification proved more challenging, reaching 51% top-1 accuracy but 75% top-3 accuracy, indicating that correct taxa were frequently included among the most probable predictions. These results demonstrate the feasibility of combining visual and morphometric information within a unified deep-learning framework and establish a methodological baseline for future AI-assisted zooarchaeological identification. The approach contributes to ongoing efforts to develop scalable, interpretable, and archaeologically meaningful tools for the study of avian remains.