Relative Time Intervals Representation for Word-level Timestamping with Masked Training

📄 arXiv: 2608.24041v1 📥 PDF

作者: Quanwei Tang, Zhiyu Tang, Xu Li, Dong Zhang, Shoushan, Guodong Zhou

分类: cs.AI

发布日期: 2026-08-25

备注: ICASSP2026 Accpeted

💡 一句话要点

提出相对时间间隔表示以解决语音模型时间戳问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音识别 时间戳预测 相对时间戳 混合微调 掩蔽训练

📋 核心要点

  1. 现有的语音大型语言模型在时间戳预测方面能力不足，无法实现细粒度的时间对齐输出。
  2. 本文提出用相对时间戳替代绝对时间戳，并引入混合微调策略和掩蔽训练目标，以提高模型的时间感知能力。
  3. 实验表明，该方法在时间戳预测准确性上有显著提升，同时保持了语音转录的高性能。

📝 摘要（中文）

尽管语音大型语言模型（SpeechLLMs）在语音理解和生成方面表现出色，但其在细粒度、时间对齐输出方面的能力仍未得到充分探索。本文通过使SpeechLLMs能够联合建模语音内容和时间结构，填补了这一空白。具体而言，我们用相对时间戳替代传统的绝对时间戳，从而实现更紧凑的词汇和更强的泛化能力。此外，我们引入了一种混合微调策略，并设计了掩蔽时间戳训练目标，以增强模型的鲁棒性。实验结果表明，该方法在时间戳预测准确性上显著提升，同时保持了强大的语音转录性能。

🔬 方法详解

问题定义：本文旨在解决语音大型语言模型在时间戳预测方面的不足，现有方法多依赖绝对时间戳，导致模型在时间对齐输出上表现不佳。

核心思路：通过引入相对时间戳，本文实现了更紧凑的词汇表示，并增强了模型的泛化能力。同时，采用混合微调策略以有效注入时间戳预测能力。

技术框架：整体架构包括时间戳增强的嵌入层和语言模型头的全参数微调，以及解码层的LoRA微调。掩蔽时间戳训练目标设计用于防止模型过度依赖真实时间戳。

关键创新：最重要的创新在于相对时间戳的引入和掩蔽训练目标的设计，这与传统方法的绝对时间戳依赖形成了本质区别。

关键设计：在参数设置上，采用混合微调策略，结合全参数微调和LoRA微调，以提高模型的鲁棒性和准确性。损失函数设计上，掩蔽时间戳训练目标旨在增强模型对噪声标注的鲁棒性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，本文方法在时间戳预测准确性上实现了显著提升，具体表现为相较于基线模型，准确率提高了X%（具体数据未知），同时保持了语音转录的高性能，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括语音识别、语音助手和多模态交互系统等。通过提高时间戳预测的准确性，能够显著提升语音转录的质量和用户体验，未来可能在智能客服、会议记录等场景中发挥重要作用。

📄 摘要（原文）

Although Speech Large Language Models (SpeechLLMs) excel at speech understanding and generation, their capacity for fine-grained, temporally aligned outputs remains underexplored. Our work addresses this gap by enabling SpeechLLMs to jointly model speech content and temporal structure, effectively transforming them from content understanding machines" intotemporal-aware content understanding machines". Specifically, we replace traditional absolute timestamps with relative timestamps, achieving a more compact vocabulary and stronger generalization capabilities. To efficiently infuse timestamp prediction ability into pre-trained large language models, we introduce a hybrid fine-tuning strategy: full-parameter fine-tuning of the timestamp-augmented embedding layer and language model head, combined with LoRA fine-tuning of the decoder layers. Moreover, we design a masked timestamp training objective, preventing the model from over-relying on ground-truth timestamps, and thereby enhancing robustness against noisy real-world annotations. Extensive experiments demonstrate that our approach achieves significant improvements in timestamp prediction accuracy while maintaining strong speech transcription performance.