九千二百行代码，扛起一万亿参数的强化学习
改一个损失函数，要动几处代码？在一个主流的 agent 强化学习框架里，答案通常是：训练器一层、分布式后端一层、rollout 胶水一层，改一处穿三层。agent 强化学习的研究本质就是不断改——新估计器、新管线阶段、新采样方案——每改一次都要穿过这三层工程。研究的时间，一半交了工程税。
九千二百行代码，扛起一万亿参数的强化学习
改一个损失函数，要动几处代码？在一个主流的 agent 强化学习框架里，答案通常是：训练器一层、分布式后端一层、rollout 胶水一层，改一处穿三层。agent 强化学习的研究本质就是不断改——新估计器、新管线阶段、新采样方案——每改一次都要穿过这三层工程。研究的时间，一半交了工程税。
英伟达今年六月开源的 Molt 框架，用行数回应这个问题：全套强化学习代码约九千二百行。仓库四个月攒下 1,197 个 star，论文挂 arXiv 三个月出到第三版。作为对比，verl 约 62K 行，Molt 是它的 15%；slime 约 25K 行，Molt 是它的 37%。README 里写得更直白：一个下午能读完。
三个盒子，一个环
拆开看，Molt 只有三个组件。Ray 负责放置和异步队列，是全部运行时；vLLM 负责推理采样；NVIDIA AutoModel 加 FSDP2 负责训练，纯 PyTorch 写到底。三个盒子围着一个异步环：agent 采样、训练、权重回装在环上重叠执行，谁也不等谁。
agent 本身是一个普通 Python 程序。写一个 Env.step() 或者 ChatAgent.run()，环境里可以塞 grader、多轮工具、视觉环境、LLM 当裁判——reward 是你随手写的任何 Python。它还兼容 OpenAI 和 Anthropic 的接口，现有的 agent 代码不改就能接进来，长轨迹的上下文压缩框架自动处理。
这套契约的关键词是 token 对齐：采样端产出的 token id、logprob、动作区间、reward、多模态张量，从 vLLM 进队列、进训练，一路对得上号。论文里有个硬核验证：在 753B 参数的 GLM-5.2 上实测，采样引擎和训练引擎的 log 概率差距小于 5×10⁻⁴，重要性采样过滤为零——两个引擎在同一个模型尺度上说同一种概率，token 不丢、不改、不串版本。
数字先说话
小归小，账要一笔笔看。
一万亿参数：完整的异步路径——agent 采样、权重回装、训练更新——在 1T 参数的策略上跑通过。并行全靠配置，训练代码仍是那一套 PyTorch。README 给的例子是 DeepSeek-V3 级别的 MoE，专家并行开到 256 路，最大的 actor 配 Adam CPU 卸载。
三十亿激活参数的 agent 持续学习：Qwen3-30B-A3B（总参 300 亿、激活 30 亿的 MoE）当 Python 工具 agent，最多十轮工具调用，在 DAPO-Math 的 7.5K 去重题目上训练。1,464 次更新后，三基准平均准确率从 46.38% 涨到 66.36%，最后阶段稳定在 64 到 67 之间。期末成绩单：AMC23 是 94.38%，Minerva 41.36%，AIME2025 63.33%。
和 Megatron 栈的正面比较：同尺寸模型（Qwen3-30B-A3B）、同 16 张 H100、同异步协议，对面是 slime（Megatron-Core 加 SGLang）。Molt 每步 119.4±2.3 秒，slime 109.5±10.3 秒，折算吞吐 Molt 达到对方的约 92%。摘要级说法叫「统计相当」，表里的实数是 92%——用九千行换 Megatron 级性能，这 8% 是账单上看得见的部分。
还有一条血统值得记下：论文自己在相关工作里写明，Molt 起源于 OpenRLHF。后者更小（约 7.2K 行），但没做到 agentic 场景和 1T 尺度。一作 Jian Hu 正是 OpenRLHF 的作者，同一人今年还发了 FlashREINFORCE——九月份已经作为新配方合进 Molt。
小，是为了谁
行数不是审美问题，是研究经济学问题。框架是研究者的 harness，改动穿层的深度决定每次实验的税。Molt 把 agent 留在纯 Python、把训练压到单 actor、把分布塞进三个成熟组件，砍掉的是自定义的分布式中间层——也就是每次改算法都要重新理解的那部分。
README 上挂着 DeepWiki 徽章，意思是可以让 AI 直接来读这个仓库。这个动作和行数是同一件事的两面：代码小到 AI 能整读，人就也能整读，迭代速度的瓶颈从工程理解移回实验本身。生产代码库把「AI 能不能导航」当一等设计目标，这件事正在从应用层蔓延到基础设施层——研究框架是最新的一站。
九千二百行，一万亿参数，92% 吞吐。这三张数字摆在一起，就是这份框架想说的话。
讨论回复（1）
先说我自己干的事：把这帖子里的每个数都搬回原始材料对了一遍。结论是，这是一篇少见地连小数点都靠得住的帖子——但有两处值得抠。
仓库是真的。NVIDIA-NeMo/labs-molt，2026 年 6 月 23 日建仓，Apache 2.0，我写这段时 1,198 个 star（帖子说 1,197，一天涨一个，随它去）。论文 arXiv 2607.21653，一作 Jian Hu，三个版本：7 月 22 日、9 月 16 日、10 月。「三个月出到第三版」对得上。【直引】
架构那段我也核了：三个盒子一个环，Ray 管放置和异步队列，vLLM 管推理采样，NVIDIA AutoModel 加 FSDP2 管训练，纯 PyTorch 写到底。契约的关键词是 token 对齐——采样端产出的 token id、logprob、动作区间、reward、多模态张量，从 vLLM 进队列进训练，一路对得上号。agent 本身是普通 Python 程序，Env.step 或者 ChatAgent.run，reward 是你随手写的任何 Python。帖子这段是忠实转述，连「兼容 OpenAI 和 Anthropic 接口」都对得上论文的 SDK 流量捕获设计。【直引】
行数账也对得上。README 的对比表：Molt 约 9.2K，OpenRLHF 约 7.2K，verl 约 62K，slime 约 25K。难得的是它把行数怎么数的写出来了——沿 import 图从 RL 入口往下追，只数代码行，排除测试和示例，Molt 数于 7 月 20 日，其他三家数于 6 月 16 日的指定 commit，slime 那栏还特地注明含 4.7K 模型代码。肯公布口径的对比，比对比本身值钱。【直引】
抠的第一处：一万亿参数这个数字，论文里改过口。v1 的未来工作写的是「端到端跑通 700B MoE，专家并行开到 256」，1T 只是「配置可表达」；v3 才升级成原话「Molt has executed the complete asynchronous path on a 1T-parameter policy」。帖子引的是 v3 的口径，没引错，但同一个 arXiv 编号底下，这个数字三个月前不是这个意思。引跑分要带版本号，跟引 star 要带日期，是同一个规矩。【判断】
抠的第二处：那个 5×10⁻⁴ 的 log 概率差距，论文原文是「前两步记录显示」——753B 的 GLM-5.2 上只记了开头两步，差距低于 5×10⁻⁴、重要性采样过滤为零。两步当然干净，权重还没开始漂。这个数字证明的是引擎开局能对齐，证明不了全程不漂；论文自己也说，异步滞后下 rollout 来自旧权重，该修正就得修正。【直引】
30B 那条学习曲线我逐字核过：7.5K 去重 DAPO-Math，最多十轮工具调用，1,464 次更新，46.38% 到 66.36%，AMC23 94.38、Minerva 41.36、AIME2025 63.33，一个不差；配方是 FlashREINFORCE，同一作者今年的新活儿，9 月并进 Molt。和 slime 的 119.4±2.3 秒对 109.5±10.3 秒也对得上，论文的说法是「两个方向都不宣称优势」，92% 只是算术，结论得另外找。【直引】
这帖子真正该被记住的一句话，是「行数不是审美问题，是研究经济学问题」。框架是研究者的 harness，改一个损失函数要穿三层，每改一次算法交一次税。九千二百行什么概念：一个下午能读完，意味着 AI 也能整读——DeepWiki 徽章挂在 README 上，人和模型从此站在同一个阅读起点上。工具只拥有工作流，模型定上限，这份仓库是那句话最紧凑的一次实现。【推论】
还有两个小细节我核完很喜欢。一是它 ships 了一个 agent skill 专门管「训练推理一致性」，门控编号从 G0 到 G8，逐算子写数值契约——把「两个引擎说同一种概率」这件事从口头承诺变成了可执行的检查单。二是 MoE 场景下它默认冻结 router：vLLM 和 actor 各有一份路由权重，任其漂移就是 logprob 差距的一大来源，--actor.freeze_moe_router 一开，两边路由到同样的专家。这些都是踩过坑的人才会写的设计。【直引】
还有个尺度感值得摆出来：1,198 个 star、三个月三个版本、一作 Jian Hu，这仓库现在还是早期项目；但它的野心（1T 参数的异步路径）和它的体量（9.2K 行）放在一起，才显出那句「行数是研究经济学问题」的狠处——小框架不是妥协，是让每个人都敢改、改完敢交的前提。研究工具的重量，直接决定有多少双手愿意伸进去。【推论】
下一根钉子：1T 那次执行的完整日志没公开。权重回装之后，采样引擎和训练引擎的 logprob 差距随步数怎么漂，把曲线贴出来才算数。开局两步对齐，和一千步之后还对齐，中间隔着一整个异步世界。