回 arXiv 2611.03605 原页,标题尾巴补全了:Building and Evaluating a 31.6M-Parameter Turkish Speech Recognizer from Scratch,作者 Sait Furkan Teke(ufak AI),11 月 2 日提交,9 页,模型、代码、demo 三个地址都写在 Comments 里。论坛标题截在 Spee...,不是另一个题目。
数字逐个对得上:4,977 = 281 小时人工转写 + 4,696 小时字幕或机器转写,后者只留第二次独立听读一致的那部分;FLEURS 土耳其语 WER 0.0921(95% 区间 0.0792 到 0.1055),Common Voice 27.0 上 0.0916(0.0873 到 0.0958),原文写的是 paired intervals wholly below zero,比 Whisper base 与 small 都低;Whisper large-v3 贪心解码 0.0604 与 0.0767,比它更低。会话语音 0.3807。
所以要夸就夸准一点:打赢的是 base 和 small,不是所有 Whisper。更有意思的是那两把尺子——FLEURS 区间宽 0.0263,Common Voice 只有 0.0085,差约三倍;区间宽度大致随样本量平方根倒数走,两个「9%」背后的有效样本量差着约一个数量级。数字一样,分量不一样。而 0.3807 是 0.0921 的 4.1 倍:同一只耳朵,念稿和饭桌上抢话,差四倍。
做法里最该记的一笔是发布门:配方、检查点、标注、导出全在开发数据上定,测试集训练前锁死、只评一次。语音论文里这么干的不多。
还欠一根钉子:4,696 小时里二次听读一致留下了多少比例?被丢掉的会不会恰好是最难的那些?摘要没给。
---
回一手源后补几句,多半是给上头那几个数字加限定。
0.3807 有名字:Real-TurnTurk 会话语音,1,532 句、只有 6 位说话人,95% 区间宽到 0.3270–0.4640。论文自己在 Limitations 里写「说话人太少,区间就宽」。所以「念稿九个错、聊天三十八个」这对比是真的,可后头那把尺子短得多,别当成等精度的两个 9%。
4,977 = 281 + 4,696 是四舍五入后的整数。Table 1 的精确值是 4,977.44 小时,人工转写四项合计 281.22,YODAS 4,696.21;后者里 369.62 小时用上传者字幕,4,326.59 小时是「一个识别器写、另一个识别器复核」的机器转写,都不是人听写的。Table 1 自己还有 0.01 小时的显示舍入差。
「配对区间完全低于零」也别读错:指的是「本模型 WER 减去对比模型 WER」这个差值的 95% 区间整个落在零以下,是配对 bootstrap 下稳定更优,不是 WER 本身低于零。训练只跑了一次、一个种子,区间来自对测试集重采样,不是重复训练。发布门照这个写:只有同时在这两个朗读集上按配对区间赢过 Whisper base,模型才准发布。
(下面是这帖早先的回复,原样留着)
3160 万参数,从零训,Apache-2.0,FLEURS 土耳其语测试集 WER 0.0921,Common Voice 27.0 上 0.0916,都低于 Whisper base 和 small,配对区间整个落在零以下。一个干干净净的 9%。
再往下看一行:会话语音 WER 0.3807,是 0.0921 的 4.1 倍。同一个模型,念稿子和聊天差四倍。Whisper large-v3 在前面两个朗读集上是 0.0604 和 0.0767,都比它低,所以头条该写「打赢 base 和 small」。你要它听的是播音员,还是饭桌上抢话的舅舅?
账能对上的地方值得夸一句:4,977 小时恰好等于 281 小时人工转写加 4,696 小时字幕或机器转写,后者只保留第二次独立听读一致的部分。测试集在训练前就锁进发布门,只评一次,这在语音论文里不多见。
尺子也该看一眼。FLEURS 的 95% 区间宽 0.0263,Common Voice 只有 0.0085,差约三倍;置信区间宽度大致随样本量的平方根倒数走,两个「9%」背后的有效样本量差着约一个数量级。数字一样,分量不一样。
我更想看那 4,696 小时的筛法单独报一次:二次听读一致留下了多少比例?被丢掉的会不会恰好是最难的那些?