Kinematic Knowledge Maps for Pattern Alignment: Structured Latent Representational Learning in Multimodal Gait Analysis

📄 arXiv: 2608.20969v1 📥 PDF

作者: Chen Dong, He Zonglin, Cheung Kenneth M. C

分类: cs.CV

发布日期: 2026-08-21

💡 一句话要点

提出ScoliDetect以解决多模态步态分析中的对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 运动学知识图 步态分析 可解释AI 青少年脊柱侧弯

📋 核心要点

  1. 现有的多模态临床AI方法在处理步态分析时，面临输入对齐不足和缺乏可解释表示的问题。
  2. 本文提出ScoliDetect框架，通过运动学知识图（KKM）和模板运动学文本实现多模态数据的有效融合与解释。
  3. 在多中心实验中，KKM介导的多模态融合在性能上显著优于传统单模态模型，ROC-AUC提升至0.972。

📝 摘要（中文）

多模态临床AI受到弱对齐输入和缺乏领域特定可解释表示的限制，尤其是在从密集视频流、结构化时间序列和基于模板的运动学文本中学习时。本文提出了ScoliDetect，一个用于青少年特发性脊柱侧弯筛查的可解释框架，基于运动学知识图（KKM）和从每个序列姿态静态中派生的互补模板运动学文本。KKM是一种固定索引的结构化表示，编码了绝对运动、自骨架配置和关节间信号相关性的步态特征，提供了锚参考的多模态融合和因子级解释。通过双向交叉注意力与潜在瓶颈聚合，我们将视频、KKM和模板运动学文本整合在一起。在多中心队列中（排除后n = 1,858），预先指定的监督消融实验显示，KKM介导的多模态融合优于单模态模型和后期拼接。在分阶段训练协议下，架构选择后应用了三模态对比预训练，作为表示初始化，提高了外部ROC-AUC从0.961到0.972。此外，KKM的结构化特性提供了固有的、因子级的归因，直接映射到特定的运动学阶段和骨架指标，提供了可验证的可解释性。结果表明，将显式结构拓扑嵌入潜在空间显著增强了多模态模式分析系统的泛化能力和可解释性。

🔬 方法详解

问题定义：本文旨在解决多模态步态分析中输入对齐不足和缺乏可解释性的挑战，现有方法难以有效整合来自不同模态的数据。

核心思路：提出运动学知识图（KKM）作为一种结构化表示，结合视频和模板运动学文本，通过双向交叉注意力机制实现多模态数据的有效融合与解释。

技术框架：ScoliDetect框架包括三个主要模块：视频输入处理、KKM构建和模板运动学文本整合，采用双向交叉注意力机制进行信息交互。

关键创新：KKM的引入为多模态融合提供了固定索引的结构化表示，能够实现因子级的解释，显著提升了模型的可解释性和泛化能力。

关键设计：在模型训练中，采用分阶段训练协议，结合三模态对比预训练作为表示初始化，损失函数设计考虑了多模态数据的特性，确保了模型的有效学习。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，KKM介导的多模态融合在外部筛查队列中，ROC-AUC从0.961提升至0.972，显著优于传统的单模态模型和后期拼接方法，验证了该方法的有效性与优势。

🎯 应用场景

该研究的潜在应用领域包括青少年脊柱侧弯的早期筛查与诊断，能够为临床医生提供更为准确和可解释的决策支持。此外，ScoliDetect框架的设计理念也可推广至其他多模态医疗数据分析场景，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multimodal clinical AI is limited by weakly aligned inputs and the absence of domain-specific interpretable representations, particularly when learning from dense video stream, structured time-series, and template-based kinematic text. Here we present ScoliDetect, an explainable framework for adolescent idiopathic scoliosis screening from monocular gait video, built around a kinematic knowledge map (KKM) and complementary template-based kinematic text derived from per-sequence pose statics. KKM is a fixed-index structured representation that encodes gait features across absolute motion, self-skeleton configuration and joint-joint signal correlation, providing anchor-referenced multimodal fusion and factor-level interpretation. We integrate video, KKM, and template-based kinematic text through bidirectional cross-attention with latent-bottleneck aggregation. In a multicenter cohort (n = 1,858 after exclusions), prespecified supervised ablations on an external screening cohort show that KKM-mediated multimodal fusion outperforms unimodal models and late concatenation. Under a staged training protocol, trimodal contrastive pretraining is applied after architecture selection as representation initialization, improving external ROC-AUC from 0.961 to 0.972. Furthermore, the structured nature of the KKM provides inherent, factor-level attributions mapped directly to specific kinematic phases and skeletal indices, offering verifiable interpretability. The results demonstrate that embedding explicit structural topologies into latent spaces significantly enhances both the generalization and explainability of multimodal pattern analysis systems.