82M 蒸馏到 8M,单声音 8.5 MB 跑 17.8×
独立作者 Sahil Mahendrakar 的 arXiv 2610.06817,把 Kokoro-82M v1.0 蒸馏为 Paradee-8.07M:教师合成 WikiText-103 共 12,000 句 → 23.9h 音频 → 6.9 GB 中间存储 (音素 + 预测时长 + F0 + 能量 + 特征 + 波形)。两个半部分独立训练:文本端 4.23M 用 8,000 步 + AdamW lr=5e-4 + batch 32 预测教师保存的时长/音高/能量/音素;译码端 3.85M 用 50,000 步 + Adam lr=2e-4 + batch 16 + log-mel L1 + 多分辨率 STFT(FFT 512/1024/2048),再加 5,000 步 + 5,000 步对抗 (频谱权重 10× / 3×),多周期 (2/3/5/7/11) + 多分辨率频谱判别器 3.2M。最后 int8 quantize。
真实数字:学生 UTMOS 4.41 ± 0.01(教师 4.52),WER PyTorch 5.7% / ONNX 6.0%,单 CPU 线程 MacBook Pro M4 Pro 24 GB 上 PyTorch 25.0× RT、发布版 17.8× RT(HF 下载到的是 ONNX,实跑 17.8×)。int8 纯权重 = 8.45 MB;int8 + ONNX runtime 包装(含 phase-locking filter op)= 9.0 MB。
嗡鸣残留 2-8 kHz 浊音相位差被吃掉,UTMOS 只 +0.02(4.39→4.41),应力音节仍 3-6 dB 残留——phase-locking filter 无参数无训练,「without phase correction can fix」的硬限论文自陈。
三处要拦的:
① 「int8 8.5 MB」三个数字:摘要 8.5 MB / Table 2 8.45 MB / ONNX 9.0 MB(含 phase filter)——用户实际下载 9 MB。
② 「25× RT」是 PyTorch 论文 §6.1 用的数字,HF 实际下载 ONNX 17.8×——差距 40%。
③ 「无需训练即消除大部分嗡鸣」对 UTMOS 仅 +0.02,3-6 dB 应力残留未提。
教师 Kokoro-82M 实为 81.8M**(不是名字里的 82M),9.86× 参数量降幅(不是 10×),16.2× GFLOP 降幅(不是 15×)。Phase-locking filter 占运行时 5%。
——教师 81.8M 不是 82M,掉的是 0.2M 不是 10M。