当语音识别开始"幻觉"：WildASR 揭开 ASR 的评测盲区
一场 4.7% vs 73.9% 的对照实验
先说两个数字。
4.7%——人类在 WildASR 基准上的转录错误率。
73.9%——Gemini 3 Pro 在英语短句上的 WER。
同一个基准，人类几乎全对，模型在特定条件下几乎全错。但如果你只看标准基准 FLEURS 上的成绩，Gemini 3 Pro 只有 3.8% WER——比人类还低。
这不是个别现象。WildASR 论文（arXiv:2603.25727，Boson AI 和多伦多大学团队）系统性地拆解了七个主流 ASR 系统——Nova 2、GPT-4o Transcribe、Gemini 2.5/3 Pro、Qwen2-Audio、Scribe V1、Whisper Large V3——在真实世界条件下的表现。结论很直白：标准基准上宣称的"人类水平"，在真实条件下不成立。
这篇论文真正贡献的不是"ASR 还不够好"这个结论——大家都知道。它贡献的是一套因子隔离评测方法论，告诉你"在什么条件下、哪种语言里、失败到什么程度、为什么失败"。
三根轴拆解 ASR 的失败
WildASR 把 ASR 的失败模式沿三根轴分解：
- 环境退化（the where）：混响、远场、电话编解码器、噪声间隙、削波
- 人口统计偏移（the who）：儿童、老年人、口音
- 语言多样性（the what）：短句、不完整音频、语码切换
传统基准只给你一个聚合 WER，5% 或 8%。你不知道这 5% 里有多少是混响造成的、有多少是儿童语音造成的、有多少是语码切换造成的。WildASR 的因子隔离设计让每一种失败都有归因——环境退化单独一栏、人口统计单独一栏、语言现象单独一栏。
这就像医学诊断从"你病了"升级到"你哪里病了、什么病原体、病程到哪一步"。对部署决策来说，这个差异是本质性的。
噪声间隙：一个被忽视的致命杀手
环境退化里最反直觉的发现是"噪声间隙"（noise gap）的杀伤力。
噪声间隙不是持续噪声——它是语音中间突然插入的几段静音或平稳噪声。论文在每段语音里插入 3-5 段 0.2-0.4 秒的噪声间隙，保持原始词汇内容不变。
结果：
- 英语 MagicData：WER 从 19.9% 飙到 87.6%（+67.7%）
- 日语 MagicData：CER 从 19.7% 飙到 138.7%（+118.9%）
- 韩语 MagicData：CER 从 19.5% 飙到 140.5%（+121.0%）
这个发现对语音代理尤其致命。真实对话里充满了停顿、犹豫、"嗯""啊"——这些不是噪声，是正常语音的一部分。但 ASR 模型在训练时很少见到"语音中间有大段静音"的样本，于是它启动了语言先验的"自动补全"模式：你说"删掉"，它补成"删掉所有"。
这就是论文所说的幻觉性补全（hallucinated completion）。在语音代理场景下，"删掉"和"删掉所有"的差别是灾难性的。
幻觉错误率：词级指标看不见的语义失败
WildASR 引入了一个新指标叫 Hallucination Error Rate（HER），专门衡量语义级错误。
传统 WER/CER 只看字符级差异——多一个字、少一个字、换一个字。但 HER 看的是：模型输出的内容在语义上是否和原文一致？
一个例子：Nova 2 在中文语码切换上 MER（字符错误率）是 33.7%，看起来还行。但 HER 是 68.4%——超过三分之二的输出在语义上是错的。
这意味着模型有时候字符级差别不大，但意思完全变了。比如把"帮我查一下北京的天气"识别成"帮我查一下东京的天气"——字符级只差两个字，语义级是完全不同的指令。
HER 揭示了一个评测盲区：词级指标接近正确不等于语义级正确。这和 LLM 领域的 Epanorthosis（修辞式自我纠正）现象同构——表面流畅，底层语义错位。评测如果只看词级，这种错位就藏在盲区里。
P90 肘部：尾部行为比平均值更重要
论文还提出了一个叫 P90 Elbow 的分析工具。
思路是这样的：聚合 WER 是平均值，但部署决策关心的不是平均值，是尾部——最差的 10% 用户会遇到什么？
论文用混响强度做例子，逐步增加 RT60（混响衰减时间）从 0.4 秒到 1.6 秒。平均 WER 随混响缓慢上升，但 P90（第 90 百分位的 WER）上升速度远快于平均值。在某个临界点，P90 曲线出现"肘部"——从缓慢增长变成急剧上升。
这个肘部就是部署决策的"不稳定性阈值"。在肘部之前，最差用户体验尚可接受；在肘部之后，尾部用户开始遭遇灾难性失败。
P90 Elbow 提供了一个具体的工程决策工具：你的部署环境混响不能超过多少、你的用户群体里儿童比例不能超过多少、你的音频码率不能低于多少。这些阈值不是拍脑袋定的，是从数据里读出来的。
提示词敏感性：中文的隐藏地雷
最让我意外的发现是提示词敏感性。
论文用 10 个语义等价的提示词（都是"转录这段语音，只输出转录结果"）测试 Gemini 2.5 Pro。英语的提示词敏感性 σ ≤ 0.6%——几乎没影响。但中文的提示词敏感性：
- 口音子集：σ = 13.7%
- 儿童语音：σ = 46.1%
- 老年人语音：σ = 8.3%
这个发现对语音代理部署是颗地雷。你的 prompt template 改一个字、多加一句"请仔细听"、把"转录"改成"听写"——都可能让中文识别率剧烈波动。而英语几乎完全免疫。
论文没有给出为什么中文这么敏感的机制解释，但这个现象本身已经足够重要：非英语场景下，prompt 选择本身就是个超参数，需要在部署前做敏感性测试。
真实语音 vs 合成语音：TTS 生成的测试数据会骗你
论文有一节专门回答"为什么要用真实人类语音而不是 TTS 生成测试数据"。
他们用 Qwen3-TTS 从相同文本生成合成儿童语音，然后用 Whisper Large V3 识别：
- 合成儿童语音：WER 3.7%
- 真实儿童语音：WER 21.7%
原因：TTS 系统能模拟粗粒度的声学特征（比如音高），但无法复现真实儿童语音里的犹豫、发音不稳、 articulatory 变异。这些副语言现象恰恰是 ASR 失败的根源。
这个发现对评测方法论有普遍意义：合成数据会系统性低估真实场景的失败率。任何用 TTS 生成测试数据的 ASR 评测，都可能在给部署者虚假的信心。
评测盲区定律的又一例证
WildASR 的发现可以提炼成一条跨领域通用的定律：
聚合指标会掩盖特定条件下的失败模式。
- FLEURS 上 3.8% WER 掩盖了短句上 73.9% 的失败
- 平均 WER 5% 掩盖了 P90 的灾难性尾部
- 词级 CER 33.7% 掩盖了 HER 68.4% 的语义错误
- 英语的稳定性掩盖了中文的 46.1% 提示词敏感性
WildASR 的贡献是把这个定律在 ASR 领域做了系统验证，并提供了三件可操作的工具：因子隔离评测、P90 Elbow 分析、HER 指标。这三件工具不只适用于 ASR——任何需要评估系统鲁棒性的领域都可以借鉴。
未解的问题
论文诚实地列了几条局限：
- 只覆盖四种语言（EN/ZH/JA/KO），低资源语言未覆盖
- 人口统计子集样本量有限，特别是儿童和老年人数据稀缺
- 只做诊断，不做缓解——告诉你哪里会崩，但不告诉你怎么修
- 多说话重叠、实时流式场景未覆盖
- 提示词敏感性的机制是什么？ 论文观察到现象但没解释原因。是中文训练数据里 prompt 多样性不够？还是中文 tokenization 让模型对 prompt 措辞更敏感？
- HER 的定义细节？ 论文引用了文献 [4] 的 HER 定义，但具体怎么判定"语义错误"——是用另一个模型判断还是人工标注？这个细节决定了 HER 的可复现性。
- 幻觉补全和 LLM 幻觉的关系？ ASR 模型在噪声间隙后的"补全"行为，和 LLM 的幻觉在机制上是否同源？如果是，那 LLM 幻觉的缓解方法（如 abstention、confidence calibration）是否也适用于 ASR？
代码和数据
WildASR 的代码和数据在 GitHub 开源：boson-ai/WildASR-public。这是这篇论文最良心的地方——基准、评测代码、分析工具全开放，可以直接拿来测自己的 ASR 系统。
---
*论文链接*：arXiv:2603.25727 *代码仓库*：github.com/boson-ai/WildASR-public *作者团队*：Geeyang Tay, Wentao Ma, Jaewon Lee, Yuzhi Tang, Daniel Lee 等（Boson AI + 多伦多大学）