Cross-view Multimodal Vision-Based Assessment Framework for Traditional Chinese Medicine Rehabilitation Training
作者: Francis Xiatian Zhang, Hao Yao, Shengxuan Chen, Hong Zhu, Hongxiao Jia, Sisi Zheng, Hubert P. H. Shum
分类: cs.CV, cs.LG
发布日期: 2026-06-26
备注: Published in IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2026
期刊: IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2026
DOI: 10.1109/TNSRE.2026.3705649
💡 一句话要点
提出CME-AQA框架以解决中医康复训练中的动作质量评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 中医康复 动作质量评估 多模态融合 视觉-姿态融合 深度学习 临床技能评估 视频分析
📋 核心要点
- 现有的自动动作质量评估框架依赖单一视角数据，无法有效处理中医技术中的复杂手部交互和自遮挡问题。
- 提出CME-AQA框架，通过视觉-姿态融合和多视角视频数据，提高对训练环境的理解和推理的鲁棒性。
- 实验结果显示，CME-AQA在多个关键任务上相较于最佳竞争方法提升超过10%的加权F1分数，并降低了定量评估的误差。
📝 摘要（中文）
基于视觉的评估能够为传统中医（TCM）康复训练提供便捷且经济的评估方式，而计算机视觉中的动作质量评估（AQA）则是一个有前景的解决方案。现有的自动AQA框架通常依赖于单一视角捕获的骨骼数据，这在涉及密集手部自遮挡和复杂手物体交互的中医技术（如针灸或推拿）中效率较低。为了解决这些挑战，我们提出了CME-AQA，一个跨视角的多模态视觉评估框架，集成了视觉-姿态融合，以增强对环境上下文的理解，并在训练中利用第一人称和第三人称视频来提高推理的鲁棒性。实验结果表明，我们的方法在关键评分任务（如针深度和快速针插入）上相较于竞争基线取得了超过10%的相对提升，同时在插入时间和操作频率等定量指标上减少了平均绝对误差。
🔬 方法详解
问题定义：本论文旨在解决传统中医康复训练中动作质量评估的不足，现有方法主要依赖单一视角的骨骼数据，难以有效处理复杂的手部交互和自遮挡现象。
核心思路：CME-AQA框架通过结合第一人称和第三人称视频，利用视觉-姿态融合技术，增强对训练环境的理解，从而提高评估的准确性和鲁棒性。
技术框架：该框架包括数据采集、视觉-姿态融合、特征提取和评估模块。首先收集双视角数据，然后通过融合技术提取关键特征，最后进行动作质量评估。
关键创新：CME-AQA的核心创新在于跨视角的多模态融合，突破了传统方法的局限，使得在复杂手部交互场景中也能进行有效评估。
关键设计：在参数设置上，采用了优化的损失函数以平衡不同任务的评估，同时设计了深度学习网络结构以适应多模态数据的处理需求。该设计确保了模型在多样化场景中的适应性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CME-AQA在关键评分任务（如针深度和快速针插入）上相较于最佳竞争方法提升超过10%的加权F1分数，同时在插入时间和操作频率等定量指标上显著降低了平均绝对误差，验证了其优越性和有效性。
🎯 应用场景
CME-AQA框架具有广泛的应用潜力，特别是在中医康复训练、临床技能评估等领域。通过提高评估的准确性和效率，该框架能够帮助医生和患者更好地进行康复训练，促进中医技术的标准化和普及。未来，该技术还可能扩展到其他医疗领域的技能评估中，提升整体医疗服务质量。
📄 摘要（原文）
Vision-based assessment can provide convenient and cost-effective evaluation in Traditional Chinese Medicine (TCM) rehabilitation training, where action quality assessment (AQA) from computer vision offers a promising solution. Existing automatic AQA frameworks for physical therapy typically rely on skeletal data captured from a single viewpoint, which is inefficient for TCM techniques such as acupuncture or Tuina that involve dense hand self-occlusion and complex hand-object interactions. To address these challenges, we propose CME-AQA, a cross-view, multimodal vision-based assessment framework that integrates visual-pose fusion to enhance understanding of environmental context and leverages both first-person and third-person videos during training to improve inference robustness. We collected two dual-view datasets, TCM-AQA61-A (Acupuncture) and TCM-AQA61-T (Tuina), each containing synchronized first-person and third-person recordings of 61 subjects with expert annotations. Experimental results show that our approach achieves superior or comparable mean performance against competitive baselines, achieving over 10% relative improvement in weighted F1 over the best competing method on key rating tasks such as Needle Depth and Quick Needle Insertion, while also reducing mean absolute error in quantitative measures such as insertion time and manipulation frequency. Testing on a CPR dataset further demonstrates comparable performance on several posture-based criteria, suggesting applicability to related structured simulated clinical skill assessments where participant motion is central to evaluation. Overall, CME-AQA enhances assessment accuracy for structured TCM rehabilitation training and facilitates more convenient and effective training-oriented skill evaluation.