When Robots Mishear Us: Mapping the Safety Risks of Voice-Controlled Embodied AI

📄 arXiv: 2608.28518v1 📥 PDF

作者: Sihan Jia, Oliver Lemon

分类: cs.AI, cs.CL, cs.RO

发布日期: 2026-08-28

💡 一句话要点

研究ASR错误对具身AI安全风险的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动语音识别 具身人工智能 安全性评估 错误模拟 风险分析

📋 核心要点

  1. 核心问题：现有的语音控制系统在识别用户指令时容易出现错误，导致具身AI执行不安全的操作。
  2. 方法要点：通过模拟ASR错误并结合安全基准，评估这些错误对具身AI安全性的具体影响。
  3. 实验或效果：研究发现某些ASR错误会增加模糊性和不安全性，且自动纠正并不总是有效。

📝 摘要（中文）

本文研究了自动语音识别（ASR）错误在用户输入中如何导致具身人工智能（EAI）模型产生不安全的输出。研究发现，ASR错误可能导致有害指令被接受并执行，从而降低安全性。通过模拟ASR错误并结合现有的安全基准（SafeAgentBench和POEX），评估不同错误对具身AI安全性的影响。结果显示，某些错误保留了语义结构但增加了有害的模糊性，而其他错误则削弱了模型的拒绝行为，允许生成和执行不安全的计划。虽然在某些情况下，自动纠正ASR错误可以降低风险，但并非总是有效。总体而言，ASR错误对具身AI构成了显著的安全风险。

🔬 方法详解

问题定义：本文旨在解决自动语音识别（ASR）错误如何导致具身人工智能（EAI）模型产生不安全输出的问题。现有方法在处理ASR错误时缺乏有效的安全评估，导致潜在的安全隐患。

核心思路：论文通过模拟不同类型的ASR错误，结合现有的安全基准，分析这些错误如何影响EAI的安全性。设计思路在于通过系统化评估，识别出最具风险的ASR错误类型。

技术框架：研究采用了模拟ASR错误的实验设计，结合SafeAgentBench和POEX等安全基准进行评估。主要模块包括ASR错误模拟、EAI模型执行、以及安全性评估。

关键创新：最重要的创新在于系统性地揭示了ASR错误对EAI安全性的影响，尤其是某些错误如何在保留语义的同时增加模糊性。与现有方法相比，本文提供了更全面的安全评估框架。

关键设计：在实验中，设置了多种ASR错误类型，并通过对比分析不同错误对EAI模型拒绝行为的影响，采用了特定的损失函数来量化安全风险。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，某些ASR错误类型显著增加了具身AI的安全风险，尤其是在模糊性和拒绝行为方面。通过对比分析，发现自动纠正ASR错误在某些情况下能够降低风险，但整体效果并不一致，提示了未来改进的方向。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服务机器人和自动驾驶等，能够帮助开发更安全的语音控制系统，减少因识别错误导致的安全隐患。未来，研究成果可为相关领域的安全标准制定提供理论依据和实践指导。

📄 摘要（原文）

We investigate whether automatic speech recognition (ASR) errors in user input can lead to unsafe outputs from Embodied AI (EAI) models. We find that ASR errors can lead to harmful instructions being accepted and executed by EAI models, thereby reducing safety. We simulate ASR errors and combine them with existing safety benchmarks (SafeAgentBench and POEX) to evaluate how different errors affect embodied AI safety. We find that some of them preserve semantic structure but increase harmful ambiguity, while others weaken the model refusal behaviour and allow unsafe plans to be generated and executed. We show that in some cases automatic correction of ASR errors can reduce the risk, but this is not always effective. Overall, we show that ASR errors lead to significant safety risks for embodied AI.