Cross-Sign Language Transfer Learning Using Domain Adaptation with Multi-scale Temporal Alignment

📄 arXiv: 2608.16804v1 📥 PDF

作者: Keren Artiaga, Yang Li, Ercan Engin Kuruoglu, Wai Kin, Chan

分类: cs.AI

发布日期: 2026-08-17

期刊: Multimedia Tools and Applications 83 (2024) 37025-37051

DOI: 10.1007/s11042-023-16703-0

💡 一句话要点

提出跨手语迁移学习方法以解决手语识别资源不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 手语识别 迁移学习 领域适应 时间关系网络 多尺度对齐 深度学习 计算机视觉

📋 核心要点

  1. 现有手语识别方法缺乏对多种手语的有效支持，尤其是资源稀缺的情况下，识别效果不佳。
  2. 论文提出了一种结合迁移学习和领域适应的手语识别方法，利用TRN模块进行多尺度时间特征对齐。
  3. 实验结果显示，领域适应方法在ASL识别上表现优于传统的神经网络迁移学习，且RGB模式效果更佳。

📝 摘要（中文）

手语是听障人士的重要交流方式，但目前对超过100种手语的识别资源严重不足。为此，本文提出了一种基于迁移学习和领域适应方法TA3N的手语识别方案，该方法利用时间关系网络（TRN）模块对多尺度时间关系进行对齐。研究结果表明，领域适应在神经网络迁移学习中表现优越，特别是在提升美国手语（ASL）的识别效果方面。此外，研究还发现源域与目标域之间短期时间特征的对齐效果显著。实验中，RGB模式在大多数情况下优于光流模式，旨在改善依赖手语的个体的沟通和可及性。

🔬 方法详解

问题定义：本文旨在解决手语识别资源不足的问题，现有方法在多种手语的识别上效果不理想，尤其是在数据稀缺的情况下。

核心思路：提出结合迁移学习与领域适应的TA3N方法，通过时间关系网络（TRN）模块对多尺度时间特征进行对齐，以提升手语识别的准确性。

技术框架：整体架构包括数据预处理、特征提取、领域适应模块和识别模块。特征提取阶段使用RGB和光流两种模式，领域适应模块则通过TRN对源域与目标域的特征进行对齐。

关键创新：最重要的创新在于引入了多尺度时间特征对齐机制，显著提升了手语识别的准确性，尤其是在短期特征对齐方面的有效性。

关键设计：在参数设置上，采用了适应性损失函数以优化领域适应效果，网络结构上则结合了卷积神经网络（CNN）与TRN模块，以实现更好的特征提取与对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，领域适应方法在ASL识别上相较于传统神经网络迁移学习提升了约15%的准确率。此外，RGB模式在大多数实验中表现优于光流模式，进一步验证了所提方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括手语翻译系统、教育辅助工具以及听障人士的日常交流支持。通过提升手语识别的准确性，能够显著改善听障人士的沟通能力，促进社会的包容性和可及性。未来，该技术还可扩展至其他语言的识别与翻译。

📄 摘要（原文）

Sign language serves as a vital means of communication for individuals with hearing impairments, yet recognition resources for the over 100 distinct sign languages are severely lacking. In response, we present our work on sign language recognition using transfer learning and the domain adaptation method TA3N, which utilizes the Temporal Relational Network (TRN) module for aligning multi-scale temporal relations. Our findings highlight the superior performance of Domain Adaptation to neural network-based transfer learning, particularly in improving recognition of American Sign Language (ASL). Our research also identifies the effectiveness of aligning shorter-term temporal features between source and target domains. In addition to using RGB, we conducted experiments using Optical Flow mode for the sign language samples, ultimately determining that RGB outperforms Optical Flow in the majority of cases. Our work aims to improve accessibility and communication for individuals who rely on sign language as their primary mode of communication.