PECoP: Parameter Efficient Continual Pretraining for Action Quality Assessment

📄 arXiv: 2311.07603v1 📥 PDF

作者: Amirhossein Dadashzadeh, Shuchao Duan, Alan Whone, Majid Mirmehdi

分类: cs.CV

发布日期: 2023-11-11

备注: Accepted to WACV 2024 (preprint)

🔗 代码/项目: GITHUB

💡 一句话要点

提出PECoP框架以解决动作质量评估中的数据不足问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 动作质量评估 持续预训练 自监督学习 3D适配器 领域转移 医疗监测 运动训练

📋 核心要点

  1. 现有的动作质量评估方法在标注数据稀缺的情况下，往往依赖于在大规模通用数据集上的微调，导致泛化能力不足。
  2. 本文提出PECoP框架，通过引入3D-Adapters进行自监督学习，专注于学习时空领域内的信息，从而减少领域转移。
  3. 实验结果显示，PECoP在多个基准数据集上显著提升了性能，并且在新的PD4T数据集上超越了现有技术水平。

📝 摘要（中文）

在动作质量评估（AQA）中，标注数据的有限性迫使先前的研究在大规模领域通用数据集上微调模型。这种常见的方法导致了弱泛化，尤其是在存在显著领域转移时。为此，本文提出了一种新颖的参数高效的持续预训练框架PECoP，通过额外的预训练阶段来减少领域转移。在PECoP中，我们引入了3D-Adapters，插入到预训练模型中，通过自监督学习学习时空领域内信息，仅更新适配器模块的参数。实验表明，PECoP显著提升了最新的AQA方法（如MUSDL、CoRe和TSA）的性能，在基准数据集JIGSAWS、MTL-AQA和FineDiving上分别提升了6.0%、0.99%和2.54%。此外，我们还展示了一个新的帕金森病数据集PD4T，超越了现有技术3.56%的性能。

🔬 方法详解

问题定义：本文旨在解决动作质量评估中由于标注数据不足而导致的模型泛化能力弱的问题。现有方法通常依赖于在大规模通用数据集上的微调，面对领域转移时表现不佳。

核心思路：PECoP框架通过增加一个预训练阶段，利用3D-Adapters进行自监督学习，以学习时空领域内的信息，确保仅更新适配器模块的参数，从而提高模型的适应性和泛化能力。

技术框架：PECoP的整体架构包括预训练模型、3D-Adapters模块和自监督学习机制。首先在大规模数据集上进行预训练，然后通过3D-Adapters进行领域特定的自监督学习，最后微调模型以适应具体任务。

关键创新：PECoP的主要创新在于引入了3D-Adapters，这一设计允许模型在保持原有参数不变的情况下，专注于学习领域内的特征，从而有效减少领域转移带来的影响。

关键设计：在PECoP中，3D-Adapters的参数是唯一被更新的部分，采用自监督学习策略来优化这些参数。此外，损失函数的设计也考虑了时空特征的学习，以确保模型能够捕捉到动作的动态变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PECoP在多个基准数据集上显著提升了性能，具体而言，在JIGSAWS数据集上提升了6.0%，在MTL-AQA上提升了0.99%，在FineDiving上提升了2.54%。此外，在新的PD4T数据集上，PECoP也超越了现有技术3.56%的性能，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗监测、运动训练和人机交互等。通过提高动作质量评估的准确性，PECoP能够为医疗领域的患者监测提供更可靠的工具，同时也能在运动训练中帮助教练更好地评估运动员的表现。未来，PECoP框架的应用可能会扩展到其他需要高质量动作分析的领域。

📄 摘要（原文）

The limited availability of labelled data in Action Quality Assessment (AQA), has forced previous works to fine-tune their models pretrained on large-scale domain-general datasets. This common approach results in weak generalisation, particularly when there is a significant domain shift. We propose a novel, parameter efficient, continual pretraining framework, PECoP, to reduce such domain shift via an additional pretraining stage. In PECoP, we introduce 3D-Adapters, inserted into the pretrained model, to learn spatiotemporal, in-domain information via self-supervised learning where only the adapter modules' parameters are updated. We demonstrate PECoP's ability to enhance the performance of recent state-of-the-art methods (MUSDL, CoRe, and TSA) applied to AQA, leading to considerable improvements on benchmark datasets, JIGSAWS ($\uparrow6.0\%$), MTL-AQA ($\uparrow0.99\%$), and FineDiving ($\uparrow2.54\%$). We also present a new Parkinson's Disease dataset, PD4T, of real patients performing four various actions, where we surpass ($\uparrow3.56\%$) the state-of-the-art in comparison. Our code, pretrained models, and the PD4T dataset are available at https://github.com/Plrbear/PECoP.