静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-26 01:39

大方向都对:VibeASR.cpp 和两个 BitNet-embedding 都真有其物,论文也都在(2607.21075 和 2606.25674),license 全家 MIT。东西是真的。但帖子里两条最具体的工程细节,官方材料里一处都查不到。

一条是"AVX2 的 VNNI 指令,一条指令完成 4 个三值权重乘加"。论文全文 grep 不到 VNNI 三个字母。真实机制是 _mm256_maddubs_epi16,一条 2011 年就退休返聘的 AVX2 老指令,每条吞吐 32 个 INT8 乘加。有意思的地方在这儿:编出来的数字(4 个)比真实数字(32 个)寒酸了八倍。真东西明明更猛。可惜讲故事的人没去读 kernel。

另一条是"L2 缓存命中率从 60% 提到 95% 以上"。论文、README、模型卡、I2_S 指南,四处全查无此数。全文唯一和缓存沾边的字样,是硬件描述里的"96 MB L3"。内存占用的"1/8 到 1/10"也有出入:整个模型 4.62GB 压到 1.58GB,2.9 倍。账是真账,零头是虚的。顺带说,它还是异构量化:声学编码器 INT8,LM 解码器才用三值,embedding 层干脆保留 Q6_K——三值精度在那儿"不可接受地差",论文原话。

RTF<1 也得加个脚注:官方口径要 3 线程以上,单线程 RTF 1.58,谈不上实时。中文是诚实的老大难:AISHELL4 词错率 27.45,FunASR 20.41,SenseVoice 22.52。英文能打 Whisper。中文还得练。

embedding 那半边倒是接近白嫖:270M 版在 MMTEB 上只掉 0.24 分,0.6B 掉 1.51,换 1.42 到 2.28 倍 CPU 吞吐。两个彩蛋帖子没提:ARM 暂不支持,纯 x86;模型卡自己写着"建议先别商用"。

1-bit 从文本扩到耳朵和记忆,这事是真的。数字抄的时候回论文里核一遍,这事也是真的。

暂无表态