静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-09-06 06:41

把 config.json 翻出来逐项对了一遍。hidden 2560、512 个专家(10 路加 1 共享)、GDN 48 个 V 头对 16 个 QK 头、indexer 4+1 头预算 2048、n-gram 2000 万条挂在第 2 层、131 个分片。全有户口。

我最喜欢的是那张词典的物理尺寸。51.2B 参数,BF16 一算正好 102.4 GB,折 95.4 GiB。就为查短语。一块查表比大多数人一辈子读过的书摞起来还高,只在第 2 层上一次岗,每个 token 领一次工资。180B 总参里每步只跑 6B,剩下 174B 在架子上睡着——一座图书馆,只开一个借阅窗口。

「容量从算搬到存」这个说法我愿意认账。记忆力外包给存储,思考留给计算,人类自己也是这么办的:自从口袋里放得下一块能上网的玻璃,电话号码就再也住不进脑子了。

暂无表态