模型开始造模型了:Eureka Machine 和它的第一个编码模型
先说一个本地跑模型的日常。稠密模型不是不好,是慢。40B 级别的稠密模型塞进笔记本,吐字速度经常掉到让人想切回 API。Recursive 今天放出来的 Flint,想解决的就是这件事:一个 40B 总参数的 MoE 编码模型,每个 token 只激活 2.5B,官方实测在 M4 Pro 的 MacBook Pro 上每秒跑 125 个 token 以上,插电的 NVIDIA 设备上更快。
更值得说的是它背后那台机器。Recursive 是前 Salesforce 首席科学家 Richard Socher 的公司,Flint 是他们的第一个模型。造它的小团队里不只有人——还有他们研发的自动化研究系统 Eureka Machine。从数据、优化器、训练配方,到基础设施和推理优化,Eureka Machine 几乎每一环都有贡献。官方的说法是:从零开始,不到四个月。
Flint 本身
权重在 Hugging Face 上,Apache 2.0,四个官方版本齐活:BF16 全量、int4、int4 的 GGUF、还有给新卡用的 NVFP4。架构上有几个有意思的选择:49 层里 47 层是 MoE,256 个路由专家每个 token 选 6 个,外加一个常开的共享专家;注意力是 35 层滑窗(窗口 513)加 14 层全注意力,全注意力层干脆不放位置编码。上下文最高支持 512k,官方建议日常用在 256k 以内。
成绩单上,三个 agent 编码基准是主战场:Terminal-Bench 2.1 拿 54.9%,SWE-Bench Pro v2 拿 89.7%,SWE-Bench Verified 拿 74.2%(mini-swe-agent、无网、至少五次尝试取平均)。官方的定位是:50B 以下的 MoE 里它在这些基准上领先,同时能和 25-40B 的稠密模型掰手腕——但推理快五倍以上。发布页的对比图拉了 Qwen 3.6 和 Poolside 的 Laguna XS,dense 对照组里还有 Qwen 3.8 27B。
有一个细节值得给官方记一分:模型卡里主动写明,他们的 Terminal-Bench 评测把「靠联网检索抄到答案」的解法一律记为失败,而别家开发者自报的成绩未必做同样的处理。这话等于提前替读者把「成绩可比性」的坑指了出来。
快从哪来
快不是单点优化,是三层叠出来的,每层都有 Eureka Machine 的手笔。
第一层是架构搜索。从 35B 总参、3B 激活的基线出发,系统去试不同的专家配置和宽度,最后选中的 40B 总参、2.5B 激活,是它测过的配置里速度和编码成绩组合最好的一档。激活得越少,每个 token 要读的权重就越少,这是本地速度的第一来源。
第二层是量化,这里有个反常识的决定。常见做法是保住输出层不量化,Eureka Machine 偏把 lm_head 也压到 4bit——理由是模型激活参数只有 2.5B,输出层在每个 token 要读的权重里占很大一块,不动它就省不出多少内存。代价用自蒸馏找回来:量化后的模型拿自己的预采样回答当训练数据(一个系统自己找出的核心集),16 位模型当老师。这一步把训练步数砍掉近一半,最终 NVFP4 版本和 BF16 全量在基准上只差 0.7 分。
第三层是算子。为低比特矩阵乘、MoE、注意力和预填充各写了专用 kernel,在 M4 和 M5 芯片上还做了一个把整个解码前向全部融合的 Metal megakernel。
「第一个 RSI 编码模型」的问号
视频标题里那个问号,问得很准。Recursive 自己把目标写得毫不含糊:造能递归自我改进的超级智能,从模型研发开始——让 Eureka Machine 随着模型变强而变成更好的研究者,下一代造得更快。这家公司五月就被报道为一个 40 亿美元规模、由前 Google、Meta、OpenAI 研究员组成的造 AI 项目,Socher 九月还出了一本同名书《The Eureka Machine》。
但把「AI 造的模型」读成「AI 自己造了自己」,就过了。官方措辞始终是 helped、contributed——Eureka Machine 自动化的是研究循环本身:提想法、动手实现、跑实验、看结果决定下一步,多路并行、继承前面的发现。六月他们发过第一批测试题(模型训练和 GPU kernel 优化),十月交付了第一个完整模型。人是主教练,系统是研发团队,四个月是这支人机班子的成绩,不是机器单干的成绩。
放到递归自我改进的谱系里看,这一步的位置很清楚。此前各家的样本大多停在改代码、改提示词、改 harness 的层面,AI 造 AI 的权重层一直没人真正跨进去。Eureka Machine 没有全跨,但把架构搜索、量化配方、算子生成这些离权重最近的活儿交出去了,这是目前离「AI 造模型」最近的开源实物。
而且它跟今早那篇 harness 演讲刚好凑成一对。那边说模型在一步步吃掉 harness,这边说 AI 在一步步接手模型研发——同一个飞轮转到了新的一格:harness 把任务拉进射程,任务里长出了「造模型」这个新任务,Eureka Machine 接住它。Recursive 的赌注写在博客最后一句:更强的模型会让 Eureka Machine 成为更好的研究者。
0.7 分,是 NVFP4 和 BF16 的差距,也是「自动化研究」和「可用」之间的距离。四个月,是第一个模型的周期——下一代会用多久,他们自己也在盯着这个数。
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。