ProfVLM: A Lightweight Video-Language Model for Multi-View Proficiency Estimation

📄 arXiv: 2509.26278v1 📥 PDF

作者: Edoardo Bianchi, Jacopo Staiano, Antonio Liotta

分类: cs.CV, cs.CL

发布日期: 2025-09-30

💡 一句话要点

ProfVLM：轻量级视频语言模型，用于多视角技能熟练度评估

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 视频语言模型 技能熟练度评估 多视角学习 生成式模型 可解释性 EgoExo4D TimeSformer

📋 核心要点

  1. 现有技能评估方法依赖黑盒模型，缺乏多视角信息利用和可解释性。
  2. ProfVLM通过生成式视觉-语言模型，从多视角视频预测技能水平并生成专家反馈。
  3. ProfVLM在EgoExo4D上超越SOTA，参数量减少20倍，训练时间减少60%。

📝 摘要（中文）

现有的技能熟练度评估方法通常依赖于黑盒视频分类器，忽略了多视角上下文信息，并且缺乏可解释性。我们提出了ProfVLM，一个紧凑的视觉-语言模型，将该任务重新定义为生成式推理：它从第一人称和第三人称视角视频中联合预测技能水平，并生成专家级别的反馈。我们方法的核心是一个AttentiveGatedProjector，它动态融合多视角特征，这些特征从一个冻结的TimeSformer骨干网络投影到一个为反馈生成而调整的语言模型中。在EgoExo4D数据集上，使用专家评论进行训练后，ProfVLM超越了最先进的方法，同时使用减少高达20倍的参数，并将训练时间减少高达60%。我们的方法不仅在各种活动中实现了卓越的准确性，而且输出了与性能对齐的自然语言评论，提供了透明的推理过程。这些结果突出了生成式视觉-语言建模作为技能评估的一个强大的新方向。

🔬 方法详解

问题定义：论文旨在解决技能熟练度评估问题，现有方法主要依赖于黑盒视频分类器，无法有效利用多视角信息（如第一人称视角和第三人称视角），并且缺乏可解释性，难以提供具体的改进建议。

核心思路：论文的核心思路是将技能熟练度评估问题转化为一个生成式视觉-语言建模问题。通过联合预测技能水平和生成专家级别的反馈，模型不仅可以给出评估结果，还能提供可解释的改进建议。这种方法能够更好地利用多视角信息，并提供更丰富的评估结果。

技术框架：ProfVLM的整体架构包含以下几个主要模块：1) TimeSformer骨干网络：用于提取视频特征，该部分被冻结。2) AttentiveGatedProjector：用于动态融合来自不同视角的视频特征，并将视觉特征投影到语言模型的嵌入空间。3) 语言模型：用于生成技能水平预测和专家反馈。整个流程是，首先使用TimeSformer提取多视角视频特征，然后通过AttentiveGatedProjector融合这些特征，最后使用语言模型生成技能评估和反馈。

关键创新：论文的关键创新在于提出了AttentiveGatedProjector，它可以动态地融合来自不同视角的视频特征。与传统的特征融合方法相比，AttentiveGatedProjector可以根据不同视角的贡献程度进行加权，从而更好地利用多视角信息。此外，将技能评估问题转化为生成式任务，使得模型能够提供可解释的反馈，这也是一个重要的创新点。

关键设计：AttentiveGatedProjector的具体实现细节未知，但可以推测其使用了注意力机制来学习不同视角的权重。语言模型部分使用了预训练的语言模型，并针对反馈生成任务进行了微调。损失函数可能包含技能水平预测的交叉熵损失和反馈生成的语言模型损失。具体参数设置和网络结构细节未知。

📊 实验亮点

ProfVLM在EgoExo4D数据集上取得了显著的性能提升，超越了现有的最先进方法。同时，ProfVLM的参数量减少了高达20倍，训练时间减少了高达60%。更重要的是，ProfVLM能够生成与视频表现对齐的自然语言评论，提供了可解释的评估结果。具体的性能数据未知，但摘要强调了其在准确性、效率和可解释性方面的优势。

🎯 应用场景

ProfVLM可应用于在线教育、体育训练、手术技能评估等领域。它可以根据学习者的视频表现，自动评估其技能水平，并提供个性化的改进建议。该研究有助于降低技能评估的成本，提高评估的效率和准确性，并为学习者提供更有效的学习支持。未来，该技术有望应用于更广泛的技能培训和评估场景。

📄 摘要（原文）

Existing approaches to skill proficiency estimation often rely on black-box video classifiers, ignoring multi-view context and lacking explainability. We present ProfVLM, a compact vision-language model that reformulates this task as generative reasoning: it jointly predicts skill level and generates expert-like feedback from egocentric and exocentric videos. Central to our method is an AttentiveGatedProjector that dynamically fuses multi-view features, projected from a frozen TimeSformer backbone into a language model tuned for feedback generation. Trained on EgoExo4D with expert commentaries, ProfVLM surpasses state-of-the-art methods while using up to 20x fewer parameters and reducing training time by up to 60%. Our approach not only achieves superior accuracy across diverse activities, but also outputs natural language critiques aligned with performance, offering transparent reasoning. These results highlight generative vision-language modeling as a powerful new direction for skill assessment.