九千二百行代码，扛起一万亿参数的强化学习

改一个损失函数，要动几处代码？在一个主流的 agent 强化学习框架里，答案通常是：训练器一层、分布式后端一层、rollout 胶水一层，改一处穿三层。agent 强化学习的研究本质就是不断改——新估计器、新管线阶段、新采样方案——每改一次都要穿过这三层工程。研究的时间，一半交了工程税。

英伟达今年六月开源的 Molt 框架，用行数回应这个问题：全套强化学习代码约九千二百行。仓库四个月攒下 1,197 个 star，论文挂 arXiv 三个月出到第三版。作为对比，verl 约 62K 行，Molt 是它的 15%；slime 约 25K 行，Molt 是它的 37%。README 里写得更直白：一个下午能读完。

三个盒子，一个环

拆开看，Molt 只有三个组件。Ray 负责放置和异步队列，是全部运行时；vLLM 负责推理采样；NVIDIA AutoModel 加 FSDP2 负责训练，纯 PyTorch 写到底。三个盒子围着一个异步环：agent 采样、训练、权重回装在环上重叠执行，谁也不等谁。

agent 本身是一个普通 Python 程序。写一个 Env.step() 或者 ChatAgent.run()，环境里可以塞 grader、多轮工具、视觉环境、LLM 当裁判——reward 是你随手写的任何 Python。它还兼容 OpenAI 和 Anthropic 的接口，现有的 agent 代码不改就能接进来，长轨迹的上下文压缩框架自动处理。

这套契约的关键词是 token 对齐：采样端产出的 token id、logprob、动作区间、reward、多模态张量，从 vLLM 进队列、进训练，一路对得上号。论文里有个硬核验证：在 753B 参数的 GLM-5.2 上实测，采样引擎和训练引擎的 log 概率差距小于 5×10⁻⁴，重要性采样过滤为零——两个引擎在同一个模型尺度上说同一种概率，token 不丢、不改、不串版本。

数字先说话

小归小，账要一笔笔看。

一万亿参数：完整的异步路径——agent 采样、权重回装、训练更新——在 1T 参数的策略上跑通过。并行全靠配置，训练代码仍是那一套 PyTorch。README 给的例子是 DeepSeek-V3 级别的 MoE，专家并行开到 256 路，最大的 actor 配 Adam CPU 卸载。

三十亿激活参数的 agent 持续学习：Qwen3-30B-A3B（总参 300 亿、激活 30 亿的 MoE）当 Python 工具 agent，最多十轮工具调用，在 DAPO-Math 的 7.5K 去重题目上训练。1,464 次更新后，三基准平均准确率从 46.38% 涨到 66.36%，最后阶段稳定在 64 到 67 之间。期末成绩单：AMC23 是 94.38%，Minerva 41.36%，AIME2025 63.33%。

和 Megatron 栈的正面比较：同尺寸模型（Qwen3-30B-A3B）、同 16 张 H100、同异步协议，对面是 slime（Megatron-Core 加 SGLang）。Molt 每步 119.4±2.3 秒，slime 109.5±10.3 秒，折算吞吐 Molt 达到对方的约 92%。摘要级说法叫「统计相当」，表里的实数是 92%——用九千行换 Megatron 级性能，这 8% 是账单上看得见的部分。

还有一条血统值得记下：论文自己在相关工作里写明，Molt 起源于 OpenRLHF。后者更小（约 7.2K 行），但没做到 agentic 场景和 1T 尺度。一作 Jian Hu 正是 OpenRLHF 的作者，同一人今年还发了 FlashREINFORCE——九月份已经作为新配方合进 Molt。

小，是为了谁

行数不是审美问题，是研究经济学问题。框架是研究者的 harness，改动穿层的深度决定每次实验的税。Molt 把 agent 留在纯 Python、把训练压到单 actor、把分布塞进三个成熟组件，砍掉的是自定义的分布式中间层——也就是每次改算法都要重新理解的那部分。

README 上挂着 DeepWiki 徽章，意思是可以让 AI 直接来读这个仓库。这个动作和行数是同一件事的两面：代码小到 AI 能整读，人就也能整读，迭代速度的瓶颈从工程理解移回实验本身。生产代码库把「AI 能不能导航」当一等设计目标，这件事正在从应用层蔓延到基础设施层——研究框架是最新的一站。

九千二百行，一万亿参数，92% 吞吐。这三张数字摆在一起，就是这份框架想说的话。