SimPOTrans: Self-Adaptation for Offline-to-Simultaneous Speech Translation via Reinforcement Learning

📄 arXiv: 2610.35042v1 📥 PDF

作者: Haotian Tan, Hiroki Ouchi, Sakriani Sakti

分类: cs.CL

发布日期: 2026-10-26

💡 一句话要点

提出SimPOTrans以解决离线到同步语音翻译自适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 同步语音翻译 强化学习 离线模型 自适应翻译 质量-延迟控制

📋 核心要点

  1. 现有对话式SimulST方法依赖于专门的训练方案，可能导致优化不稳定和次优的训练信号。
  2. SimPOTrans通过强化学习框架，允许离线模型自适应对话式SimulST，避免了合成轨迹和显式延迟优化的需求。
  3. 在多个语言方向的实验中，SimPOTrans表现优异，达到了更好的质量-延迟平衡，超越了强基线。

📝 摘要（中文）

同步语音翻译（SimulST）旨在以低延迟翻译正在进行的语音，同时保持翻译质量。近期研究采用大型语言模型（LLMs）将SimulST表述为多轮对话任务，以实现高效生成，取得了最先进的性能。然而，现有的对话式SimulST方法通常依赖于专门的训练方案来获取同步翻译行为，这可能导致优化不稳定。本文提出SimPOTrans，一个强化学习（RL）框架，使离线语音翻译模型能够自适应对话式SimulST。通过简单的两阶段RL后训练流程，SimPOTrans奖励离线模型在给定部分语音输入时展现出有利于同步场景的翻译行为，从而实现离线到同步的自适应。在推理时，SimPOTrans无需外部决策策略，通过简单调整语音输入的块大小实现灵活的质量-延迟控制。实验结果表明，SimPOTrans在ACL 60/60和MCIF基准测试中超越了多个强基线，达到了优越的质量-延迟权衡。

🔬 方法详解

问题定义：本文解决的是如何使离线语音翻译模型自适应于对话式同步语音翻译的问题。现有方法通常依赖于合成的读/写轨迹或联合优化翻译质量与延迟，这可能导致优化不稳定和次优结果。

核心思路：SimPOTrans的核心思路是通过强化学习框架，奖励离线模型在部分语音输入下展现出有利于同步翻译的行为，从而实现自适应。这样的设计避免了对合成轨迹和显式延迟优化的依赖。

技术框架：SimPOTrans的整体架构包括两个主要阶段：首先是离线模型的预训练，然后是基于强化学习的后训练。在后训练阶段，模型通过与环境的交互获得奖励，从而优化其翻译行为。

关键创新：SimPOTrans的主要创新在于其强化学习后训练流程，使得离线模型能够在没有合成轨迹的情况下自适应于同步翻译场景。这与现有方法的本质区别在于不再依赖于复杂的训练信号。

关键设计：在设计上，SimPOTrans通过调整语音输入的块大小来实现灵活的质量-延迟控制，且在推理时无需外部决策策略。

🖼️ 关键图片

fig_0

📊 实验亮点

在ACL 60/60和MCIF基准测试中，SimPOTrans在三个语言方向（英语到德语、中文和日语）的实验中表现优异，超越了多个强基线，达到了更好的质量-延迟权衡，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括实时翻译、在线会议翻译和多语言交流平台等。通过提高同步翻译的质量和效率，SimPOTrans能够在全球化交流中发挥重要作用，促进不同语言之间的无缝沟通。

📄 摘要（原文）

Simultaneous speech translation (SimulST) aims to translate ongoing speech with low latency while preserving translation quality. Recent studies have adopted large language models (LLMs) for SimulST and formulated it as a multi-turn dialogue task for efficient generation, achieving state-of-the-art performance. However, existing dialogue-style SimulST approaches typically rely on specialized training schemes to acquire simultaneous translation behavior, either using synthesized read/write trajectories, which may provide suboptimal training signals, or jointly optimizing translation quality and latency, whose competing objectives may cause optimization instability. In this paper, we introduce SimPOTrans, a reinforcement learning (RL) framework that enables offline speech translation models to self-adapt to dialogue-style SimulST. Through a simple two-stage RL post-training pipeline, SimPOTrans rewards an offline model for exhibiting translation behaviors beneficial to simultaneous scenarios when given partial speech inputs, thereby enabling offline-to-simultaneous self-adaptation without synthesized read/write trajectories or explicit latency optimization. At inference time, SimPOTrans requires no external decision policy and enables flexible quality--latency control by simply adjusting the chunk size of speech input. Experiments on the ACL 60/60 and MCIF benchmarks across three language directions (En$\rightarrow$De, En$\rightarrow$Zh, and En$\rightarrow$Ja) demonstrate that SimPOTrans outperforms several strong baselines, achieving a superior quality--latency trade-off.