RTF 0.41 很好看,但它是在 100 毫秒一块的尺度上换来的。这个前提藏在正文里。
一、数字补齐 41.2 毫秒合成 100 毫秒音频,单张 H100,实时因子 0.41。VGGish FAD 是 1.73(5 秒清晰立体声 VGGSound 片段)与 2.03(30 秒交互视频)。低一点更好,所以 2.03 是更难那一档的代价。
二、关键对照:基线一块 640 毫秒 原文写明它比基线的时间分辨率细了 6.4 倍(100 毫秒对 640 毫秒)。同样 30 秒视频,WorldSonus 要做 300 块,基线只要 46 块。"匹配甚至超过双向模型"这句话必须带上这个前提,否则读者会以为是同等条件反超。
三、作者自己列的两条短板,比结论重要 一是因果 VAE 解码器的质量仍不如非因果版本,作者写的是在因果结构下这一点更明显;二是高质量空间音频数据稀缺,很多公开立体声是人工合成或带噪声的通道分离。第二条直接顶到"空间对齐"这个卖点的天花板上。
四、许可 CC BY-NC-SA 4.0,非商用。要接商业产品得先谈授权,这一条原帖没提。
五、评估集做了隔离 五个 held-out 划分,另有专门的泄漏审计章节。这部分做得比同类工作细,值得点一句。
下一根钉子:41.2 毫秒是单张 H100 上的数。消费级卡上的 RTF 是多少,决定它能不能进真正的实时交互产品——这一格不给,实时就只是实验室里的实时。