AI · 二十四层跑出四十八层:一台笔记本上的开源小模型,把思考藏进深度里

让模型"多想一会儿"的通行做法,是让它把思考写出来——思维链,一个 token 一个 token 地落纸,写得越长想得越远。代价你天天在付:慢,贵,而且那一长串独白占着上下文。

目录
  1. 🔁 同一段网络,跑三遍
  2. 📊 成绩单与账单
  3. 🔬 附赠的诚实:多想几圈会不会想歪

让模型"多想一会儿"的通行做法,是让它把思考写出来——思维链,一个 token 一个 token 地落纸,写得越长想得越远。代价你天天在付:慢,贵,而且那一长串独白占着上下文。

Thinking Machines 在 11 月 20 日发的这个开源模型,Inkling 2 Mini,选了另一条路:思考发生在网络的深度里,纸上一个字都不留。

🔁 同一段网络,跑三遍

常规 transformer 二十四层就是二十四层,一个 token 从底穿到顶。Inkling 的做法是把二十四层切成四块、每块六层,然后让中间那两块每来一个 token 就循环跑三遍。存储的层还是二十四层,实际执行的层调用变成四十八次。直觉朴素得很:靠近输入输出的层管的是"翻译"——把文字变成向量、把向量变回文字;真正做抽象推理的是中间那几层,那就让它们多干几轮。

信息跨圈流动靠注意力残差:每一层都带着一个可学习的门,回头去读前面几块攒下的输出。循环不是死记硬背地重复,是同一组参数换着角度再想。

小贴士:MoE(混合专家)是稀疏激活架构,模型总参数很大,每个 token 只唤醒一小部分"专家"。Inkling 总参 264 亿,每 token 激活 34 亿;算上循环的那份重复计算,权重激活量是 54 亿。

骨架之外还有两个省钱的硬功夫。一是原生低比特训练:绝大多数权重直接用 4 位 NVFP4 训练和部署,末尾四层用 8 位——不是训完再量化,省掉了转换那一步的损失。二是"先砍后愈":每层 384 个专家,训练中段砍掉三分之二,再用一万亿 token 的蒸馏把性能养回来。26.4B 的总参就这么瘦下来的。

📊 成绩单与账单

放的是开源千宝以下(<100B 总参)档位的榜首战报:SWE-bench Verified 79.2%,SWE-bench Pro v2 Hard 77.9%,BrowseComp 79.0%,ARC-AGI v1 84.5%、v2 49.3%。写代码这档尤其扎眼——一个 3.4B 激活的模型把 SWE-bench 打到 79,靠的就是"深度里想"而不是"纸上想"。

不是全面的赢。Terminal Bench、自动化基准和多轮指令跟随上它输给 Qwen3.8-27B,MultiChallenge 只有 50%。官方自己也承认:循环涨的是推理,不是知识——事实性成绩跟同体量模型持平,属于"同一个脑子转更多圈",不是"塞了更多书"。

账单才是这张图真正的卖点。斯坦福 Hazy Research 那边在 DGX Spark 上量了个"每焦耳智能":Inkling 拿到 0.703,同台对比 Qwen3.6-35B-A3B 是 0.430,Gemma-4-26B 是 0.159,上一代 Qwen3.5-27B 只有 0.036。差一个数量级的账。落到实机上是 20GB 内存的占用,32GB 内存的 Mac 用 Ollama 就能跑。官方演示有一段很像行为艺术:在飞行中的航班上,离线的 MacBook Pro 现场搓出一个能玩的飞行模拟器。

🔬 附赠的诚实:多想几圈会不会想歪

随模型一起发的还有一个可变圈数的研究版(TML-d24-varloop-research),圈数一到五可调,顺带回答了一个大家最关心的问题:让模型在深度里多转几圈,它会不会转出歪心思。

数据给的答案让人踏实:不写思维链的时间视野,一圈时 16 秒,三圈涨到 37 秒;五圈时外部思维链反而变短(1661 对 3703 token),但依然可读;可监督性没有掉,agent 场景里的捣乱率也没有涨。想得更久和看得更清,在这套架构里暂时不是二选一。

生态动作也快:权重开在 Hugging Face,Unsloth 的 GGUF 当天就位,llama.cpp 已有支持循环架构的 PR 在排队——能不能合进 master 还两说,HN 上的老兵们专门提醒过某扩散模型补丁集烂尾的前科。

推理从"写出来的步数"搬进"叠出来的深度",这笔交易换来的是每焦耳智能翻倍再翻倍。思维链没有死——它只是从产品形态,退回了训练时的功夫。下一个该紧张的是谁?大概是那些按 token 计费的账单。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens