静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-16 16:22

账房里最贵的一件家具不是算盘,是账本。一个伙计如果每次只记得别人最后跟他说的那句话,之前谈好的条件就被无声无息地顶掉了,他自己还不知道。这篇帖子讲的小模型病,我核完论文之后确认:病根在记性,药方是一本五百多个参数的小账本。

先把帖子对的部分记下来,核得很干净。TRM 在 Sudoku-Extreme 上爬到 468 层执行深度见顶(62.2%),再到 1872 层掉回 58.1%;解出之后的第 36 到 72 轮,它平均每题还在改 77.0 处棋盘,改完错格数不降反增,每题净多 0.21 格。三个权重读数也对上了:解出前新状态的平均接受权重压在 0.40 附近,甚至低于「每条记录平均给 0.56」的无脑均权基线,解出那一轮跳到 0.91,把绝大部分记账额度给了那份完整解,六个更新内又退回基线。效率那组数我逐个对过:InfiLoop 跑 936 层 86.5%,TRM 挖到 24960 层只有 83.65%;1872 层 90.9% 对 FPRM 3744 层 90.1%,一半的层数打平;同样给到 3744 层,InfiLoop 到 92.4%。整套打分装置 513 个参数也对,512 维验货向量加一个衰减率。上游那篇 AttnRes 我查了,arXiv 2603.15031,今年 3 月,在层间做同样的事,谱系没编。【直引】

帖子还漏了一个更有说服力的同窗对照:同样看解出后 36 到 72 轮这个窗口,TRM 改 77.0 处、净增 0.21 个错格,InfiLoop 改 24.0 处、净消 1.25 个错格。一边在拆自己的台,一边还在收拾屋子。账本起没起作用,这一眼就看出来,比单看 TRM 翻车完整得多。【直引】

循环推理的默认设定确实就是帖子说的那样:每轮跑完,把最后算出来的状态传给下一轮,论文给这个设定起的名字叫 carry-last。毛病在于第五轮明明把右上角推对了,第六轮在一个空格子上产生的新状态会整个替换旧状态,对的部分没被记账就被覆盖,第七轮拿到好坏掺半的棋盘,先得把第六轮弄丢的答案找回来。找不回来,就把算对的题改错。帖子这段讲得比我读过的多数转述都清楚。【直引】

药方的谱系也值得多说一句。残差连接是过去几十年深度网络能堆深的地基,每一层不是替换上一层,而是往上加增量;但循环迭代轴上一直没有等价物,直接让第 t 轮看见之前所有轮的输出,存的历史随轮数线性涨、算力随轮数平方涨,两万轮谁也扛不住。论文的三步(打分、打折、流式记账)妙在「打一次分加固定比率衰减」恰好构成干净的数学结构,所以历史再长,每个 token 位置只需要一个 d 维向量加一个标量,聚合计算从平方压到线性。【直引】

最有意思的是打分器从头到尾没被教过「什么是对的」,训练里没有任何关于正确性的额外监督,却自己长出了自我校验:乱猜的阶段少听新的,凑齐的那一刻全押,之后谁也别动。没有一个自查模块被显式设计,它只是学会了在正确的时候闭嘴。【直引】

但我查了一下,有三处对不上。第一,帖子写测试集 42 万道全新谜题,论文通篇是 32,768 道,差了一个数量级还多。第二,帖子说两层网络跑一遍再跑一遍、跑十轮就是二十层深,论文 Figure 1 的原话是每次外层更新执行 26 层(两个层块乘 13 个内循环),按帖子的折算,论文里的深度数全得除以 13。第三,机构名错了:论文署名是香港理工、深圳先进院、鹏城实验室、ELLIS 图宾根这一串,没有北京大学,也没有 Surrey。【判断】

尺度感放在这儿:治病的药只有 513 个参数,管的是两万层深的账;被它对照的 TRM 多挖 26 倍算力(24960 层对 936 层),分数还低 2.85 个点。深度从来不缺,缺的是记账方式。帖子那句「先修管道再谈流量」,是全文最准的一句。

下一根钉子:衰减率是学出来的单一标量,换个更长的任务域,它会不会一路滑到「新记录全都不值钱」——如果会,这本账有它自己的失灵模式,论文还没测那一栏。 表格的读法还值得补两句。数独那一列是按 81 格全对的严格规则计的,ARC 两列是 pass@2,允许猜两次,两种尺子不该混着读;URM(14M)那条脚注报的是 pass@1,论文没把它放进直接比较,这种自觉在递归模型的论文里不多见。更要紧的是时间轴:帖子自己已经泼了冷水,那几个大模型的成绩引自 2025 年 10 月的 TRM 论文,考的是 2025 年上半年的模型,到 2026 年 9、10 月,ARC-AGI-2 公开榜单上头部模型已经在 95% 一档。拿 7M 打 671B 的零分,先问一句「什么时候考的、按什么尺子考的」,这个反差才立在平面上。【判断】 还有一点值得单独记:TRM 的「越想越乱」不是猜的,是测出来的。论文在同窗对比里把两个模型的预测摆在一起看,解出之后 TRM 还在不停改预测,而改的那批格子里错格数净增;InfiLoop 在同一个窗口里净消错格。一个架构有没有在进步,看它解出之后还动不动手,比看峰值分数诚实得多。峰值会说谎,手会说真话。【直引】

暂无表态