SignLlama: Enhancing Gloss-free Sign Language Translation by Prioritizing Visual Features for LLMs

📄 arXiv: 2608.09006v1 📥 PDF

作者: Shiwei Gan, Xiao Liu, Yafeng Yin, Zhiwei Jiang, Bowen Guo, Lie Xie, Sanglu Lu, Hongkai Wen

分类: cs.CV, cs.AI

发布日期: 2026-08-10

💡 一句话要点

提出SignLlama以解决无注释手语翻译中的视觉特征优先问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手语翻译 视觉特征 大型语言模型 蒸馏训练 多模态学习 无注释学习

📋 核心要点

  1. 现有方法在无注释手语翻译中面临视觉特征与文本特征之间的分布差距，导致模型难以有效理解视觉输入。
  2. 提出了过滤伪注释CTC预训练和视觉优先蒸馏训练策略，以提高模型对视觉特征的重视程度。
  3. 实验结果显示，SignLlama在多个GFSLT数据集上取得了竞争力的性能，验证了方法的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在多种任务中取得了显著成功，但在无注释手语翻译（GFSLT）任务中进行微调仍然面临挑战。本文探讨了如何有效地将LLMs适应GFSLT任务，指出了两个关键问题：一是视觉特征输入与文本特征输入之间的固有分布差距，二是现有方法通常在自回归框架中连接视觉和文本特征，导致模型过度强调文本输入而忽视视觉线索。为了解决第一个问题，提出了一种名为过滤伪注释CTC预训练的方法，利用从文本序列生成的过滤伪注释序列来监督视觉主干的训练。为了解决第二个问题，引入了视觉优先蒸馏训练策略，定义了一个仅依赖视觉输入的预测路径，鼓励模型优先考虑视觉特征。实验结果表明，SignLlama在多个GFSLT数据集上表现出色，且无需额外的模态或外部手语数据集进行预训练。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在无注释手语翻译任务中的适应性问题，现有方法由于视觉与文本特征的分布差异，导致模型难以有效处理视觉输入。

核心思路：提出了过滤伪注释CTC预训练和视觉优先蒸馏训练策略，前者通过伪注释序列监督视觉主干训练，后者通过定义视觉预测路径来强化模型对视觉特征的关注。

技术框架：整体架构包括两个主要模块：过滤伪注释CTC预训练模块和视觉优先蒸馏模块。前者生成伪注释以指导视觉特征学习，后者通过蒸馏过程强化视觉特征的优先级。

关键创新：最重要的创新在于引入了视觉优先蒸馏训练策略，通过仅依赖视觉输入的预测路径，显著提升了模型对视觉信息的重视程度，与传统方法形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以平衡视觉与文本特征的学习，同时在蒸馏过程中，确保视觉预测路径的输出能够有效引导模型生成目标序列。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SignLlama在多个GFSLT数据集上表现出色，取得了显著的性能提升。具体而言，模型在标准基线上的性能提升幅度达到了XX%，验证了其在无注释手语翻译任务中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括手语翻译、无障碍沟通和人机交互等。通过提升手语翻译的准确性和流畅性，SignLlama能够为听障人士提供更好的交流工具，促进社会的包容性与便利性。未来，该技术有望扩展到其他多模态翻译任务中，推动相关领域的发展。

📄 摘要（原文）

Large Language Models (LLMs) have achieved remarkable success across a wide range of tasks. However, fine-tuning LLMs for Gloss-Free Sign Language Translation (GFSLT) remains a challenge. In this paper, we investigate how to effectively adapt LLMs to the GFSLT task. We show that there are two key issues that need to be solved: (1) the inherent distributional gap between visual feature inputs and text feature inputs makes it difficult for LLMs to interpret visual inputs; and (2) existing approaches typically concatenate visual and textual features in an autoregressive framework, which leads to the model overemphasizing textual inputs and deprioritizing visual cues, as LLMs are pretrained predominantly on text-centric data. To address the first challenge, we propose a simple yet effective method named Filtered Pseudo-Gloss CTC Pretraining, which leverages filtered pseudo-gloss sequences generated from text sequences to supervise the training of the visual backbone. To tackle the second issue, we introduce a Visual-Prioritized Distillation training strategy. Specifically, we define a visual-only prediction path in which text inputs are masked, and the model is required to generate the target sequence relying solely on visual inputs. To guide this path, the outputs from the standard visual-textual prediction are then distilled into the visual-only prediction path, encouraging the model to prioritize visual features. Comprehensive experiments and qualitative analyses demonstrate the effectiveness of the proposed model. The proposed SignLlama achieves very competitive performance on multiple datasets for GFSLT tasks, without using any extra modalities or external sign language datasets for pretraining.