GhostPrefix: Synchronization-Free Universal Prefix Attacks for ASR Manipulation

📄 arXiv: 2610.42026v1 📥 PDF

作者: Shengding Liu, Ashwin Innuganti, Qiben Yan

分类: cs.LG

发布日期: 2026-10-30

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GhostPrefix以解决ASR系统中的无同步通用对抗攻击问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 对抗攻击 自动语音识别 音频处理 深度学习 安全性研究

📋 核心要点

  1. 现有的音频攻击方法通常需要与受害者波形同步，且针对特定目标，限制了其应用范围。
  2. GhostPrefix通过学习可重用的音频片段，在任意实时语音前添加，实现对ASR输出的控制，且无需时间对齐。
  3. 在实验中，GhostPrefix在数字环境中实现了97.6%的攻击成功率，并在无线环境中也表现出色，显示出其广泛的应用潜力。

📝 摘要（中文）

我们提出了GhostPrefix，这是首个针对自动语音识别（ASR）系统的无同步通用对抗前缀攻击。与以往的音频攻击不同，GhostPrefix学习一个短小的可重用音频片段，能够在任意实时语音前添加，以实现对ASR输出的实时控制，而无需了解未来的发声内容或时间对齐。GhostPrefix结合了基于标记的损失与新颖的表示级目标，以确保在未知的、不断变化的语音环境中保持稳定的对抗效果。我们在13个来自四个家族的开源ASR模型上进行了评估，结果显示在数字环境中，提示前缀攻击的成功率达到97.6%，而目标劫持攻击的成功率为93.4%。

🔬 方法详解

问题定义：本论文旨在解决现有ASR系统中对抗攻击的同步需求问题。传统方法通常需要针对特定语音进行设计，限制了其灵活性和实用性。

核心思路：GhostPrefix的核心思想是通过学习一个短小的音频片段，能够在任意实时语音前添加，从而实现对ASR输出的实时控制，而无需对未来的发声内容进行预测或时间对齐。

技术框架：GhostPrefix的整体架构包括三个主要模块：音频前缀生成模块、对抗损失计算模块和ASR系统交互模块。前缀生成模块负责生成可重用的音频片段，对抗损失计算模块则确保生成的前缀在不同语音环境中保持稳定的对抗效果。

关键创新：GhostPrefix的最大创新在于其无同步的通用前缀攻击方式，能够在多种语音环境中有效工作，且不依赖于特定的语音内容或时间对齐。这一方法显著提高了对抗攻击的灵活性和实用性。

关键设计：在设计中，GhostPrefix采用了基于标记的损失函数与新颖的表示级目标，以确保对抗效果的稳定性。此外，为了保持感知上的隐蔽性，前缀被正则化为无害的环境声音分布，以提高对无线传输失真的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GhostPrefix在数字环境中实现了97.6%的提示前缀攻击成功率和93.4%的目标劫持攻击成功率，而在无线环境中也分别达到了91.5%和89.5%。这些结果表明GhostPrefix在多种环境下均表现出色，具有广泛的适用性。

🎯 应用场景

GhostPrefix的研究成果在多个领域具有潜在应用价值，尤其是在语音助手和AI笔记工具等下游应用中。通过对ASR系统的操控，GhostPrefix可能导致系统的语义误解，从而影响用户体验和信息传递的准确性。这一技术的实际影响可能会引发对ASR系统安全性的重新审视。

📄 摘要（原文）

We present GhostPrefix, the first synchronization-free universal adversarial prefix attack against automatic speech recognition (ASR) systems. Unlike prior audio attacks, which are typically crafted per utterance, require synchronization with the victim waveform, or target narrow objectives, GhostPrefix learns a short, reusable audio segment prepended to arbitrary live speech to exert real-time control over ASR outputs without knowledge of the future utterance or temporal alignment. A key challenge is maintaining stable adversarial effects across unknown, evolving speech contexts. GhostPrefix combines token-level losses with a novel representation-level objective for stable, input-agnostic effects. GhostPrefix supports three attack modes: (i) prompted prefix attacks for semantic steering, (ii) targeted prefix attacks for transcript hijacking, and (iii) untargeted prefix attacks for transcription degradation. To remain perceptually inconspicuous, we regularize prefixes toward benign environmental-sound distributions and improve robustness against over-the-air distortions. We evaluate GhostPrefix across 13 open-source ASR models from four families. In digital settings, it achieves average attack success rates of 97.6% for prompted steering and 93.4% for targeted hijacking, while driving word error rate to 1.18 under untargeted attacks. Over the air, it achieves success rates of 91.5% and 89.5% for prompted and targeted modes, respectively. These manipulations propagate into downstream AI-assisted pipelines, including voice assistants and AI note-taking tools, causing systematic semantic misinterpretations. GhostPrefix exposes synchronization-free universal prefixes as a practical, under-explored threat to real-world ASR and downstream applications. Artifacts and demos are available at https://ghostprefix.github.io/.