7M 参数的模型解出 97.9% 的数独，671B 的大模型是 0%：输赢在传话规则

一个只有七百万参数的小模型，在极难数独上做到 97.9% 全盘正确。同一个考卷上，6710 亿参数的 DeepSeek-R1，成绩是 0。o3-mini-high，0。Claude 3.7 Sonnet，0。

这不是新的 scaling 神话。论文（arXiv 2610.11570，2026 年 10 月 8 日）做的事小得多，也根本得多：它发现了一类「越想越乱」的模型病，给了一个只需要五百多个参数就能治好的药方。

先看病：越想越乱

数独这类题，一个自然解法是让模型反复推演：一个两层的 Transformer 网络，同样的权重，跑了一遍再跑一遍，每轮在上一轮的基础上改棋盘。跑十轮就是二十层深，跑一万轮就是两万层深。理论上想多深有多深——算力换深度，深度换推理。

这条路有个默认设定：每轮跑完，把最后算出来的状态传给下一轮。论文给这个设定起了个名字，carry-last——只 carry 最后一个。

毛病出在这里。假设模型第五轮已经把棋盘右上角推对了，第六轮在一个还空着的格子上产生了新的、可能是错的中间想法，然后这个新状态整个替换掉旧状态。对的部分没有被记账，就被覆盖了。第七轮拿到的是一个好坏掺半的棋盘，它不但要继续解题，还得先把第六轮弄丢的正确答案找回来。找不回来，就把算对的题改错了。

这不是猜想，是测出来的。论文用 TRM（另一个 7M 的递归推理模型）做体检：在 Sudoku-Extreme 上，TRM 的准确率爬到第 468 层执行深度时见顶（62.2%），再往深掉（1872 层时 58.1%）。更扎眼的是它的手：在解出之后的第 36 到 72 轮里，TRM 平均每题还在改 77 处棋盘，改完之后错格数不降反增，每题净多错 0.21 格。它不是在求精，是在拆自己的台。

药方：别只传最后一句话，传一本有折扣的账

治法听起来朴素：别让每轮的输出直接顶掉历史，先给历史记个账。深度学习里早有这个思路的原型——残差连接。普通网络里，每一层不是替换上一层的输出，而是往上面加自己的增量，所以旧信息一路留着。残差连接是这几十年深度网络能堆深的地基。

但循环模型没有等价物。直接把「层间残差」搬过来，让第 t 轮看到之前所有轮的输出，存的历史随轮数线性涨，算力随轮数平方涨——跑两万轮谁也扛不住。

论文的做法分三步，每一步都很省。

第一步，打分。每轮产出新状态时，一个 512 维的「验货向量」跟它对表打个分：你这个提议值几个钱？这个验货向量是学出来的，全轮共享，跟每个新状态只打一次分，打过就记账，不回头重算。

第二步，打折。越老的记录越不值钱：一条记录的权重随时间指数衰减，衰减率本身也是学出来的。刚出炉的推理最可信，半年前的草稿自动让位。

第三步，流式记账。因为「打一次分+固定比率衰减」恰好构成一个干净的数学结构，记账不需要存全部历史——只需要维护一个加权和、一个归一化系数，来一条新记录就更新一次。历史再长，要记的东西体积不变：每个 token 位置固定一个 d 维向量加一个标量。论文的对比是：朴素做法峰值内存随轮数线性涨（O(Td)），它压到 O(d)；总聚合计算从平方压到线性。

这三步加起来叫 InfiLoop。名字来源一眼可见：Infinite Loop，无限循环——它想让「循环」这个动作本身可以无限跑下去。

顺带交代谱系：这个思路的上游是 Kimi 团队 2026 年 3 月的 AttnRes（Attention Residuals），那篇在层间做同样的事——用 softmax 注意力替换固定权重的层输出累加。InfiLoop 把同一原理搬到了循环迭代轴上，外加时间衰减和流式化。整套打分装置一共 513 个参数（512 维验货向量加 1 个衰减率）。

战绩：小模型的表格

数独成绩按 81 格全对的严格规则计，测试集 42 万道全新谜题。ARC 两列是 pass@2：允许猜两次，两次内对一次就算对。

表格里有一处细节值得读：URM（14M）的 ARC 成绩带脚注——它报的是 pass@1，跟 pass@2 不是一把尺子，论文没把它放进直接比较。这种脚注在递归模型的论文里不多见，值得记一笔。

效率：一半的算力，二十六分之一的深度

准确率只是故事的一半。这个架构真正的杠杆在算力曲线。

同一个数独测试集，把三个模型的执行深度都推到 24960 层：InfiLoop 跑到 1872 层就有 90.9%，FPRM 要跑到 3744 层才有 90.1%——一半的算力打平。同样给到 3744 层，InfiLoop 到 92.4%。

更狠的一组：InfiLoop 只跑 936 层的成绩是 86.5%，而 TRM 挖到 24960 层——26 倍的算力——也只有 83.65%。TRM 的瓶颈不在深度不够，在传话规则：加再多层，旧账照样被覆盖。这不是「小模型用巧劲省算力」的老故事，是「先修管道再谈流量」。

最有意思的发现：步长会自己「飙升」

打分器从头到尾没被教过「什么是对的」——训练里没有任何关于正确性的额外监督。但把它学到的行为拆开看，出现了一个漂亮的模式。

以一道在第 13 轮左右解出的题为例：解出之前，新状态的平均接受权重被压在 0.40 附近——甚至低于「每条记录平均给 0.56」的无脑均权基线，等于在说「我还在探索，新想法先存疑」。而在解出答案的那一轮，权重跳到 0.91，几乎把全部记账额度给了那份完整解。此后状态冻结，不再改动。

没有一个「自查」模块被显式设计。打分器只是学会了：乱猜的阶段少听新的，凑齐的那一刻全押，之后谁也别动。自我校验是这个记账规则里自己长出来的。

一句冷静的话

「7M 逆袭大模型」这个叙事需要钉在一个时间轴上看。论文表格里那几个大模型（DeepSeek-R1、Claude 3.7 Sonnet、o3-mini、Gemini 2.5 Pro）的成绩引自 2025 年 10 月的 TRM 论文，是 2025 年上半年模型的答卷。到 2026 年 9、10 月，ARC-AGI-2 的公开榜单上，GPT-6 Astra 已经 95%，GPT-6.1 Sol 94.2%——今天的 InfiLoop 放进去，不在第一梯队。

所以这篇论文真正的贡献不是「小模型打赢大模型」，而是那条干净的证据链：换掉迭代之间的传话规则，同一个 7M 网络从 468 层见顶变成两万层还在涨。深度一直在那里，被浪费的是记账方式。至于这套记账规则搬到大模型上值多少分，是下一张考卷的事。

论文：Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals（arXiv 2610.11570，Pengxiang Li 等，Max Planck & Tübingen、北京大学、Surrey 等机构）。代码：github.com/pixeli99/InfiLoop。