当 AI 听不懂人话：一个让语音识别现原形的实验

# 当 AI 听不懂人话：一个让语音识别"现原形"的实验 > *Back to Basics: Revisiting ASR in the Age of Voice Agents* > Geeyang Tay, Wentao Ma, Jaewon Lee 等 | arXiv: 2603.25727 | 2026 --- ## 一个简单的想法 想象一下这个场景：你在一个嘈杂的咖啡馆里，对着手机说"帮我订一张明天去北京的机票"。手机里的 AI 助手自信地回答："好的，已经帮您订了一张明天去南京的机票。" 你没有说"南京"。它听错了。 这不是科幻小说。这是 2026 年真实存在的问题。 你可能会想：语音识别不是已经很厉害了吗？ChatGPT 能听懂我说的话，Siri 也能，各种语音助手满天飞。确实，在实验室里，在安静的房间里，对着麦克风字正腔圆地说话——这些系统确实接近人类水平了。 但问题是，**真实世界不是实验室**。 这就是这篇论文要讲的故事。一群来自 Boson AI 的研究者（其中包括 Alex Smola，机器学习界的传奇人物）决定问一个很朴素的问题：**当语音识别系统走出实验室，走进真实世界，它们到底有多不靠谱？** 答案让人不太舒服。 --- ## 三个让 AI 翻车的维度 研究者们设计了一个叫 **WildASR** 的测试基准。这个名字很直白——Wild，野生的，非受控的。他们没有用合成语音，没有用播音员录音，而是全部使用**真实人类语音**。 然后他们从三个维度来"刁难"这些语音识别系统。 ### 第一关：你在哪儿说的？（环境退化） 你说话的环境千差万别。在空旷的大厅里说话，声音会来回反射，产生混响。离麦克风远了，声音就变得模糊。用老式电话通话，音质会大幅下降。周围有噪音，说话中间有停顿，录音设备过载导致声音"爆音"——这些都会让语音变得面目全非。 研究者们模拟了五种真实的环境干扰： - **混响**：就像在大理石走廊里说话，声音不断反弹。他们把混响时间从 0.4 秒调到 1.6 秒——从"稍微有点回声"到"像在山洞里喊话"。 - **远场**：想象你对着房间另一头的智能音箱喊话。距离从 4 米到 16 米，直达声被反射声淹没。 - **电话编解码**：你的声音经过 GSM 或 G.711 编解码器处理，就像打了一通老式电话。高频信息被砍掉，只剩下一部分声音特征。 - **噪声间隙**：说话中间插入了噪声片段，模拟真实通话中常见的"断断续续"。 - **削波失真**：声音太大，录音设备"爆"了，波形被削平。就像你对着手机大吼时发生的事情。 ### 第二关：你是谁？（人口统计学偏移） 这个问题很少有人关注，但极其重要。 同样一句"今天天气不错"，一个来自北京的成年男性和一个来自广州的八岁小女孩说出来的声音，对 AI 来说可能是两个完全不同的世界。 研究者们测试了三种"非标准"说话人： - **带口音的说话人**：英语和中文的口音都会显著降低识别准确率。中文口音的 WER（词错率）最高飙到了 62.5%——也就是说，每说十个词，系统平均听错六个。 - **儿童**：这是所有模型的一致噩梦。即使是表现最好的 Gemini 3 Pro，在英语儿童语音上的错误率也有 18.2%。想象一下，一个专门为家庭场景设计的语音助手，却听不懂家里孩子说的话。 - **老年人**：相对好一些，但也不容乐观。 ### 第三关：你在说什么？（语言多样性） 论文测试了四种语言：英语、中文、日语、韩语。 结果发现了一个令人不安的现象：**一个模型在英语上表现好，不代表它在中文上也好**。鲁棒性不能跨语言迁移。Qwen2-Audio 在中文上表现最好（毕竟训练数据里中文更多），但在英语上反而不如其他模型。 更离谱的是，同一个模型（Gemini 2.5 Pro），仅仅换一种**提示词的措辞方式**，在中文儿童语音上的错误率就能从最低到最高波动 46.1%。你问它的方式不同，它给出的答案就天差地别。 --- ## 最令人担忧的发现：幻觉 如果说听错几个词还算是"可以理解的错误"，那下面这个发现就真的让人后背发凉了。 当输入音频不完整或者质量很差的时候，这些语音识别系统不只是听错——它们会**编造**。 比如，原文说的是"Captain Lake did not look at all like a London dandy now"（Captain Lake 现在看起来一点也不像伦敦的花花公子），系统可能输出"Will you let Annabel ask her if she sees what it is you hold in your arms again?"（你能让 Annabel 问问她是否看到你怀里抱着什么了吗？）。 这两句话的意思完全不同。不是听错了几个词，而是**整个意思都被篡改了**。 在语音助手的场景下，这意味着什么？ 用户说"帮我查一下账户余额"，系统可能听成"帮我转一万块钱到这个账户"。用户说"取消订单"，系统可能理解成"确认订单"。 这不是技术细节的问题，这是**安全问题**。 研究者专门设计了一个"幻觉错误率"（Hallucination Error Rate, HER）指标，用 GPT-4o-mini 作为裁判来判断每一条识别结果是否产生了幻觉。他们发现，在环境退化和噪声间隙的条件下，幻觉率显著上升。 --- ## 七个选手的擂台赛 研究者们测试了七个主流 ASR 系统： | 模型 | 类型 | |------|------| | Nova 2 | Deepgram 的商业模型 | | GPT-4o Transcribe | OpenAI 的转录模型 | | Gemini 2.5 Pro | Google 的多模态模型 | | Gemini 3 Pro | Google 的下一代模型 | | Qwen2-Audio | 阿里的开源音频模型 | | Scribe V1 | ElevenLabs 的转录模型 | | Whisper Large V3 | OpenAI 的开源模型 | 没有赢家。 每个模型都有自己的"盲区"。Whisper 在老年人语音上表现最好（WER 仅 0.2%），但在口音和儿童语音上就崩了。Qwen2-Audio 在中文上遥遥领先，但在英语上就差强人意。Gemini 3 Pro 整体均衡，但中文口音的 WER 依然高达 41.4%。 **没有一个模型能在所有条件下都可靠。** --- ## 一个实用的发现：P90 肘点 论文里有一个很巧妙的工程洞察。 当环境退化逐渐加重时，平均 WER 的上升是缓慢的——看起来"还行"。但如果看 P90（第 90 百分位）的 WER，就会发现它上升得快得多。 这意味着什么？**平均数会骗人。** 即使平均错误率看起来可以接受，但总有一小部分用户会遇到灾难性的识别失败。对于语音助手这种面向大量用户的产品来说，"10% 的用户体验极差"可能比"所有人体验都一般"更致命。 研究者定义了一个"P90 肘点"——当 P90 曲线开始加速上升时的退化程度。这个肘点可以作为部署决策的实用阈值：超过这个点，就应该触发降级策略（比如切换到文本输入，或者提示用户换个安静的环境）。 --- ## 开源了，你可以自己测 好消息是，这个项目完全开源了。 **代码仓库**：[github.com/boson-ai/WildASR-public](https://github.com/boson-ai/WildASR-public)（Apache 2.0 协议） **数据集**：[huggingface.co/datasets/bosonai/WildASR](https://huggingface.co/datasets/bosonai/WildASR) 代码结构很清晰： ``` WildASR-public/ ├── run_eval/ │ ├── eval.py # 主评估脚本 │ ├── clients/ # 各模型 API 客户端 │ │ ├── gemini_client.py │ │ ├── openai_client.py │ │ ├── whisper_client.py │ │ ├── qwen_client.py │ │ ├── deepgram_client.py │ │ ├── elevenlabs_client.py │ │ └── parakeet_client.py │ └── metrics/ │ ├── corpus_error_rate.py # WER/CER/MER 计算 │ └── hallucination_rate.py # 幻觉检测（LLM 裁判） ├── figure/ # 论文图表 └── Dockerfile # 容器化运行 ``` 几个值得注意的技术细节： **多语言 WER 计算**：代码里实现了三种 WER 计算方法——Common Voice 17 标准、Qwen2-Audio 方法和 Seed-TTS 方法。对于中文、日文、韩文这类非空格分隔的语言，使用字符级错误率（CER）而非词级。还专门处理了繁简转换（OpenCC）和日文假名转换（mozcpy）。 **幻觉检测**：用 GPT-4o-mini 作为裁判，将每条识别结果分为三类——幻觉错误（编造了原文没有的内容）、非幻觉错误（听错了但没编造）、无错误。这个分类体系设计得很细致，能区分"把'扑热息痛'听成'阿莫西林'"（幻觉）和"把'商店'听成'商铺'"（非幻觉）。 **混合错误率（MER）**：对于语码混用的场景（比如中英夹杂），代码实现了一种混合分词策略——英文按词切分，中日韩按字符切分，然后统一计算 WER。这比单纯用 WER 或 CER 都更合理。 --- ## 我的思考 这篇论文让我想到费曼说过的一句话：*"The first principle is that you must not fool yourself — and you are the easiest person to fool."* 过去几年，语音识别的 benchmark 分数一路飙升，各大厂商都在宣传"接近人类水平"。但 WildASR 告诉我们，这些分数可能是在一个过于干净、过于理想化的世界里取得的。 真实世界是嘈杂的、多样的、不可预测的。一个在实验室里考 99 分的学生，到了野外可能连 60 分都拿不到。 这不是否定进步。Whisper、Gemini、Qwen 这些模型确实了不起。但论文的核心观点很重要：**我们需要更诚实的评估方式**。不是那种"挑最好条件测"的评估，而是像 WildASR 这样，系统地、逐个因素地暴露弱点。 对于正在做语音助手产品的工程师来说，这篇论文提供了三个实用的分析工具：P90 肘点分析、跨条件鲁棒性热力图、幻觉率检测。这些工具可以帮助你在部署前就预判"在什么条件下会翻车"，而不是等用户投诉了才发现。 毕竟，当你的语音助手把"取消"听成"确认"的时候，用户不会关心你的 benchmark 分数有多高。 --- **论文**：[arxiv.org/abs/2603.25727](https://arxiv.org/abs/2603.25727) **代码**：[github.com/boson-ai/WildASR-public](https://github.com/boson-ai/WildASR-public) **数据**：[huggingface.co/datasets/bosonai/WildASR](https://huggingface.co/datasets/bosonai/WildASR)