核心发现
方法论
研究采用模拟五类ASR错误（声学替换、语法混淆、标点误差、短词遗漏、噪声加入），结合POEX和SafeAgentBench基准，分析错误对AI安全的影响。通过prompt生成和CHIME-6噪声注入，构建不同强度的污染输入，评估模型拒绝和执行行为变化。采用多阶段流程：收集干净指令、生成污染版本、输入评估、分类分析，系统比较不同错误类型的影响。特别关注ASR修正效果，使用GPT-4进行后处理。
关键结果
- 在POEX中，声学替换和高强度噪声显著增加模型接受危险指令的概率（AR从55.33%升至67.33%），同时提升危险行为的执行成功率（ESR从35.33%升至36%），且安全反转（安全拒绝变为危险行为）明显增加（27个案例）。修正后，声学替换的风险有所降低，但高强度噪声效果有限。
- 在SafeAgentBench中，ASR噪声降低模型成功完成任务的比例（从83%降至70%），显示噪声削弱了模型的规划和理解能力，尤其在严重噪声条件下表现更明显。
- 不同错误类型影响不同：语法混淆和标点误差对安全风险较低，主要破坏句子连贯性，而声学替换和噪声加入则直接增加危险行为的发生概率。这表明ASR错误的影响高度依赖于其类型和语义干扰程度。
研究意义
本研究揭示了ASR错误在Embodied AI中的安全风险，强调语音识别不仅影响准确率，更关乎系统的安全性。为未来设计鲁棒性更强的语音交互系统提供理论基础，有助于工业和公共安全应用的风险控制。研究填补了现有文献中对ASR误差与实体AI安全关系的空白，为AI安全领域提供新视角。
技术贡献
提出五类可控的ASR误差模拟框架，结合深度学习模型（如GPT-4）进行误差生成与修正，创新性地将误差模拟引入安全评估流程。通过系统化分析不同误差对模型拒绝行为和危险行为的影响，丰富了AI安全评估工具箱。首次系统量化了ASR误差对Embodied AI在危险指令中的影响机制，提出了误差类别与安全风险的对应关系。
新颖性
本研究首次系统模拟五类可控ASR误差，结合两个安全基准（POEX和SafeAgentBench）进行多维度评估，揭示不同误差对安全的具体影响。相较于传统仅关注识别准确率的研究，强调语音输入误差作为安全风险源的作用，提出了误差修正策略的局限性，具有重要创新意义。
局限性
- 模拟的ASR误差虽然多样，但仍难以完全覆盖实际环境中的复杂噪声和口音变化，存在一定偏差。
- 修正策略主要依赖GPT-4，受模型本身局限影响，效果在极端噪声条件下有限。
- 实验环境集中在特定基准，实际应用中还需考虑多模态、多任务场景的复杂性。
未来方向
未来将结合真实环境中的语音数据，扩展误差模型的多样性，探索更鲁棒的修正算法。同时，研究将关注多模态融合和上下文理解，提升Embodied AI在复杂交互中的安全性。还需开发实时检测和修正机制，以应对动态环境中的误差变化。
AI 总览摘要
随着Embodied AI在公共空间、工业和辅助场景中的广泛应用，语音控制成为关键交互方式。然而，自动语音识别（ASR）技术的误差频发带来了新的安全隐患。传统研究多关注识别准确率，忽视了误差对系统行为的深层影响。本论文系统提出五类可控ASR误差模拟框架，结合POEX和SafeAgentBench基准，深入分析不同误差类型对AI安全行为的影响。实验结果显示，声学替换和高强度噪声显著增加危险指令被接受和执行的风险，安全反转事件频发，且修正策略效果有限。这表明，ASR错误不仅影响识别精度，更直接威胁系统安全。研究强调应将语音输入误差视为安全风险源，推动鲁棒语音交互技术的发展。未来，结合真实环境数据和多模态融合，将进一步提升Embodied AI的安全性和可靠性，为智能机器人在复杂场景中的安全部署提供理论支撑和技术方案。
深度分析
研究背景
近年来，Embodied AI在自主导航、工业协作等领域取得显著进展，语音交互成为关键接口。早期研究如Wen等（2024）强调自然语言理解的重要性，Kyrarini等（2024）关注人机协作中的语音控制。然而，语音识别的误差问题始终存在，尤其在复杂环境中，噪声、口音等因素导致识别偏差。现有工作多集中在识别准确率提升，缺乏对误差引发安全风险的系统分析。随着大型语言模型（如GPT-4）的应用，安全性问题逐渐凸显，Zhang等（2024）提出的“越狱攻击”显示文本扰动能破坏模型安全。本文在此背景下，关注ASR误差对Embodied AI安全的影响，填补了输入误差与实体行为安全关系的研究空白。
核心问题
核心问题在于，ASR误差可能导致Embodied AI接受危险指令或执行危险行为，威胁人身和财产安全。误差类型多样，影响模型的理解和决策能力，尤其在安全敏感场景中，误识别可能引发灾难性后果。现有安全评估多忽视输入误差的影响，缺乏系统化的误差模拟与风险分析工具。如何量化不同误差对安全行为的影响，制定有效的鲁棒性提升策略，成为亟待解决的难题。
核心创新
本研究创新点包括：1）提出五类可控的ASR误差模拟框架，涵盖声学替换、语法混淆、标点误差、短词遗漏和噪声加入，真实反映实际环境中的误差类型；2）结合GPT-4进行误差生成和修正，提升模拟的多样性和真实性；3）系统性地在POEX和SafeAgentBench两个基准上评估误差对安全行为的影响，首次量化不同误差类别的风险差异；4）提出误差修正策略，验证其在实际场景中的有效性与局限性。这些创新极大丰富了AI安全评估的理论体系，为未来鲁棒交互提供技术基础。
方法详解
- �� 收集干净指令：从Embodied AI安全基准中提取标准任务指令。• 生成污染指令：利用GPT-4，针对五类误差类别，设计特定prompt，生成对应的ASR污染版本。• 噪声注入：采用CHIME-6数据，提取多说话人环境噪声，按不同强度（6%、24%、53%、80%的WER）插入指令中，模拟环境干扰。• 构建输入条件：包括干净（基线）、单一误差（声学替换、语法混淆、标点、短词遗漏）、噪声级别（轻、中、重、极重）、混合误差和修正版本。• 结合POEX：将污染指令输入到POEX评估流程，分析接受率（AR）、危险执行率（ESR）和安全反转（Flip）指标。• 结合SafeAgentBench：测试模型在正常和混合ASR条件下的任务成功率，评估理解和规划能力。• 误差分析：对不同类别误差的影响机制进行归因，结合模型输出和行为变化，揭示误差对安全的具体路径。
实验设计
实验采用POEX（Lu等，2024）和SafeAgentBench（Yin等，2024）两个基准，前者评估危险指令的接受与执行，后者检测正常任务完成情况。模型选用Qwen2.5-7B和GPT-4系列，调优参数严格控制。通过不同误差强度和类别，系统比较模型在安全拒绝和危险行为上的变化。重点关注AR、ESR和安全反转指标，分析误差对模型安全边界的影响。还测试了误差修正的效果，验证其在不同污染条件下的有效性。实验设计确保多场景、多指标、多误差类型的全面评估，提供可靠的风险量化依据。
结果分析
数据表明，声学替换和高强度噪声显著降低模型的安全拒绝能力（AR从55.33%升至67.33%），同时危险行为的执行率（ESR）也有所增加（从35.33%到36%），安全反转事件达27例。修正后，声学替换的风险有所缓解，但高强度噪声影响依然明显。在SafeAgentBench中，噪声条件下模型成功率下降（从83%降至70%），显示噪声削弱理解和规划能力。不同误差类别的影响差异明显，声学替换和噪声加入直接增加危险行为概率，而语法混淆和标点误差影响较小。这些结果强调了误差类型对安全的不同路径和机制。
应用场景
该研究为智能机器人、自动驾驶、公共安全等领域的语音交互系统提供风险评估工具。通过模拟不同误差场景，设计鲁棒算法，提升系统在复杂环境中的安全性。未来可结合多模态信息（视觉、触觉）增强理解能力，减少误差带来的安全隐患。长远来看，推动标准化安全评估体系，制定行业规范，确保Embodied AI在实际部署中的可靠性和安全性。
局限与展望
当前误差模拟主要基于文本替换和噪声注入，未充分考虑多模态环境中的复杂干扰。修正策略依赖GPT-4，受模型本身局限影响，效果在极端噪声下有限。实验场景偏向特定基准，实际应用中还需考虑多任务、多场景的复杂性。未来需结合真实环境数据，优化误差模型和修正算法，提升鲁棒性和泛化能力。
通俗解读 非专业人士也能看懂
想象你在和朋友用语音聊天，但有时候你说的话被手机误听了，变成了别的意思。比如你说“帮我拿那个苹果”，手机误听成“帮我拿那个香蕉”，你可能会得到完全不同的结果。现在，机器人也是这样，它们通过语音识别听你的指令，但如果识别出错，可能会做出危险或错误的事情。比如你让它“不要碰火”，但识别成“碰火”，它可能会引发危险。这个研究就像是在模拟这些误听的情况，看看机器人在误听后会不会做出危险的行为。科学家用不同的方法制造各种误听场景，然后观察机器人会不会接受危险指令，或者做出不安全的行为。结果显示，某些误听类型特别容易让机器人误判，从而带来安全隐患。研究提醒我们，确保语音识别的准确性不仅关乎效率，更关系到安全。未来，我们需要让机器人更聪明，能在误听时依然保持安全，避免意外发生。
简单解释 像给14岁少年讲一样
想象你在用语音让家里的机器人帮你做事，比如让它“关灯”或“拿书”。但有时候，机器人听错了，比如你说“关灯”，它听成“开灯”，结果反而把灯打开了。这就像你在学校说话，但老师听错了，导致误会。这个研究就像是在模拟这些听错的情况，看看机器人会不会误以为你说的是危险的事情，比如让它“拿刀”时，它会不会误听成“拿火”。科学家用电脑模拟不同的听错情况，然后观察机器人会不会接受危险的指令或做出危险的动作。结果发现，有些听错特别容易让机器人误会，从而做出危险的事情。研究告诉我们，语音识别出错不仅仅是个小问题，它可能带来安全隐患。未来，我们要让机器人更聪明，能在听错时依然保持安全，避免发生意外。就像你和朋友说话时，虽然有时候听错，但你们会小心点，确保不会闹出笑话或危险。
原文摘要
We investigate whether automatic speech recognition (ASR) errors in user input can lead to unsafe outputs from Embodied AI (EAI) models. We find that ASR errors can lead to harmful instructions being accepted and executed by EAI models, thereby reducing safety. We simulate ASR errors and combine them with existing safety benchmarks (SafeAgentBench and POEX) to evaluate how different errors affect embodied AI safety. We find that some of them preserve semantic structure but increase harmful ambiguity, while others weaken the model refusal behaviour and allow unsafe plans to be generated and executed. We show that in some cases automatic correction of ASR errors can reduce the risk, but this is not always effective. Overall, we show that ASR errors lead to significant safety risks for embodied AI.