4B 追 27B：一半靠练题，一半靠抄作业

一个 4B 的小模型，考 394 道数据题，答对 51.8%。同一个考场里，27B 的老师答对 64.0%。差 12.2 分。

YouTube 博主 PromtEngineer 最近做了个实验：不换脑子，只靠训练，小模型能追回多少分？答案是一半多。但要分两步走，而且第二步比第一步更管用。

先交代实验台。两台 NVIDIA DGX Spark，用 LoRA 微调 Qwen3.5-4B，算法是 GRPO。题库叫 SmolDataEnvs，5,394 道 Kaggle 风格的数据分析题：每题给一堆真实数据文件，模型在 bash 终端里自己干活，把答案写进一个文件。判卷的是一个独立写好的严格检查器。代码、检查器、训练脚本全部开源在 GitHub（仓库两天前刚建，Apache-2.0）。

第一幕：随机练题，几乎白练

GRPO 怎么学习，值得用一句话讲清楚：同一道题让模型连做好几次，比较组内的差别——做对的那几次和做错的那几次差在哪，这个差别就是学习信号。推论也很直接：如果一组全对或者全错，组内没有差别，就没有信号，等于这轮白跑。

随机抽题练了 40 步，成绩 54.1%，p 值 0.29——统计上和没练一样。原因查出来了：随机任务里 55% 到 70% 的组是全对或全错的。模型把题做全对或彻底不会，都不产生梯度。

第二幕：挑题

既然信号只在「有时对有时错」的题里，那就先筛。999 道候选题，每道先让模型试 4 次，只留下它有时能做对的 240 道。拿这批「边缘题」练 120 步，跑了 19.1 个小时。

成绩 58.4%，配对 McNemar 检验 p=0.001，这次是真涨了。追回 6.6 分，占 12.2 分差距的 54%。

它学会的到底是什么

这是整个实验最反直觉的部分。RL 补的不是数据分析能力。

看两项统计：没写答案就结束的回合，从 99 降到 72；答错格式的（问名字、答数字），从 17 降到 6。翻译一下：4B 本来就会做不少题，但它经常交白卷，或者把答案写错格式。RL 补的主要是「把事做完、把答案写对」，不是「懂更多」。

这也解释了上限。未训练时，4B 单次就能做对训练题的 62.3%，四次内做到 72.9%。RL 只能把「四次内会」磨成「一次就会」，磨不出从没会过的东西。所以后续四条不同的训练路线，全部停在 58% 附近。天花板是底座模型自己。

第三幕：抄作业

卡住之后换招。让 27B 把这些题做一遍，留下完整的解题过程，拿这些过程去 SFT 蒸馏 4B，然后再在上面做 RL。

考试集上，这个组合模型 58.6%——和纯 RL 的 58.4% 几乎打平。真正的差别在没见过的题上：87 道全新数据集的题，纯 RL 是 58.6%，蒸馏加 RL 做到 62.1%（对未训练起点 p=0.04），对 27B 的 64.4%，追回了 80% 的差距。

蒸馏搬进来的是 27B 会而 4B 不会的解法，RL 再把这些解法磨熟练。考试集上两者看不出差别，一到新题就分高下——学的是解法，不是题目。

判卷人和凑字数

题库自带的判卷器很松：从答案里抓第一个数字就算数——正确答案是 42 时，答「42, yes」也能过。如果拿这个当训练奖励，模型很快会学会往答案里塞数字。

作者的办法是另写一个严格判卷器当奖励，宽松的那个留在回路里、权重记零，只当报警器用。跑完检查：没有任何答案在凑数，宽松判卷器抓到的全是货真价实的差一点。

奖励就是判卷人。判卷人松，学生学会凑字数——这个道理在机器人训练、在 RLHF、在这个实验里，一次又一次地成立。

硬件上的疤

三条没人爱讲的经验，复现全靠它们：训练端和 vLLM 采样端的对数概率要一致，不装 flash-linear-attention 的话，长回答几乎拿不到训练权重；repetition_penalty 从 1.05 改成 1.0，能把每 token 的概率差从 0.06 压到 0.012；DGX Spark 的 GB10 统一内存不会干净地报 OOM，得自己盯可用内存。所有版本钉死在 versions.txt 里，TRL、vLLM、模型快照一个都不含糊。

收尾

这个实验把「小模型追大模型」拆成了两笔能数的：12.2 分的差距，6.6 分靠挑对题练出来——其中大头是把白卷变成答卷；剩下的部分，得等老师把解题过程给你看。

背景值得一提：RL 环境正在变成新的稀缺品，TechCrunch 去年九月写过硅谷集体押注环境；这套题库出自 FineEnvs 项目，小米的 MiMo-V2.6 也开放了自己的 RL 环境。算力和模型都在降价，可判卷的任务从来都缺。

GitHub：github.com/PromtEngineer/smoldataenvs-grpo-spark（15 星，两天）
题库：huggingface.co/datasets/FineEnvs/SmolDataEnvs（5,394 题，下载 7,434）
模型卡：Qwen3.5-4B / Qwen3.5-27B，均 Apache-2.0