Homebrewed SLMs：一张消费级 GPU，从零训一个属于你的语言模型

"建一个数据中心"不再是前提

2026 年，训练一个语言模型需要什么？如果你回答"几千张 H100 和几百万美元"，Pedro Brom 的这篇论文会让你重新想想。

这位来自巴西利亚联邦研究所的数学家，用一张消费级 GPU，从零训练了一个 11-12M 参数的语言模型——包括 tokenizer、训练、评估、甚至一个预注册的对比实验协议。整个过程以分钟计，不是天，更不是月。

论文标题叫 Homebrewed SLMs（自酿小语言模型），"homebrew"这个词选得精准：它让人想起 1970 年代的 Homebrew Computer Club——乔布斯和沃兹尼亚克在车库里组装 Apple I 的那个时代。Brom 在说：语言模型的"车库时代"到了。

这篇论文不是方法论文

论文开篇就声明：本文不提出任何新方法。它是一个教程、一个可复现的实验报告、一个 Python 包和两个 Jupyter notebook。

但恰恰是这种"不新"让它有价值。当前语言模型研究的生态有一个隐含假设：训练模型是"大厂的事"，学术界只能做微调和分析。Brom 用实践证明：从零训练一个有用的模型，门槛比你想象中低得多。

关键不是模型大，而是模型"够用"。11-12M 参数的模型不会写诗，但能做特定领域的任务——比如这篇论文测试的巴西联邦法律领域。

从零开始意味着真的从零

这篇教程的完整流程包括：

1. 语料：巴西葡萄牙语法律文本 2. Tokenizer：从零训练，不依赖现成的分词器 3. 网络架构：一个统一的网络，支持两种生成模式 4. 训练：单张消费级 GPU，分钟级训练 5. 评估：不只是 loss，还有领域任务的端到端评估 6. 对比协议：预注册的假设检验，不是"跑完看结果"

第 5、6 点是这篇论文最被低估的贡献。大多数"我训了个小模型"的工作止步于报告 loss 曲线，Brom 设计了四个法律领域任务：

• T1 填空：补全法律条文中的空白
• T2 插入/替换：判断条文是否被篡改
• T3 篡改检测：识别被修改的文本
• T4 续写：续写法律条文

这些任务只用文本就能完成，不需要法律专业知识，但能真正测试模型是否"理解"了法律语言的结构。

两种生成模式：自回归 vs 掩码扩散

论文的一个技术亮点是：同一个网络支持两种生成模式。

• 自回归模式（Autoregressive）：从左到右逐 token 生成，标准 GPT 范式
• 掩码扩散模式（Masked Diffusion）：从全掩码开始，逐步揭示 token

两种模式用同一个网络实现，只是推理方式不同。这让你可以在同一套训练成果上对比两种生成策略。

实验发现：

• 自回归模式在 64 个 epoch 后达到峰值，之后开始记忆训练数据（过拟合）
• 掩码扩散模式在 256 个 epoch 后仍在改善
• 在测试集上，扩散模式的似然比自回归好 0.06 bits per byte——这个差异在预注册的最小效应范围内

0.06 bits/byte 听起来不多，但在语言模型的似然度量上，这是一个有意义的差异。更重要的是，两种模式的"最佳训练时长"完全不同——这意味着你不能用同一套超参数跑两种模式。

诚实的缺陷报告

这篇论文最让人印象深刻的不是结果，而是诚实。Brom 用了大量篇幅报告"只有测量才揭示的缺陷"：

梯度精度哨兵的 bug

论文设计了一个"精度哨兵"（precision sentinel）：在 fp16 和 fp32 下对比同一个梯度，确保 fp16 训练没有引入数值误差。校准阶段通过了（误差 < 0.01），但正式实验时所有 12 次运行的误差都超过了 0.05 的预注册阈值——最大达到 7.11。

原因是什么？哨兵本身的 bug。两个反向传播都在训练模式下运行，各自独立采样 dropout mask，测量的不是"精度差异"而是"两个随机 mask 的距离"。把两个都改成 eval 模式后，误差回到正常范围。

这个故事的教训：验证工具本身也需要验证。如果你设计了一个精度检查器，检查器自己的 bug 可能让所有检查结果失效。

模型在续写任务上输给 6-gram

在"续写已发布法律"的任务上，11M 参数的模型输给了一个简单的 6-gram 语言模型。Brom 没有回避这个结果，而是直接讨论：模型在"记忆"和"泛化"之间的权衡上，小模型的天花板在哪里。

在"篡改检测"上赢了 630M 参数模型

但在"检测被篡改文本"的任务上，11M 模型打败了 160M 和 630M 的公开模型——而且是在训练时从未见过"法令"（decrees）这一文类的情况下。这说明小模型在特定任务上可以"以小博大"，关键在于任务和训练数据的匹配。

从"打分"到"打分+校准"

论文还做了校准分析——模型对自己答案的置信度是否和实际正确率匹配。大多数小模型工作不报告校准，但 Brom 发现：

• 模型在"填空"任务上的校准不错
• 但在"续写"任务上过度自信——模型觉得自己能续写，实际上续写质量很差

这和"输给 6-gram"的发现一致：模型知道自己"见过"类似文本，但不知道自己"记不住"足够长的上下文来续写。

为什么这篇论文重要

Homebrewed SLMs 的价值不在于它训了一个多好的模型——11M 参数的模型在绝对能力上当然远不如 GPT-4。它的价值在于三点：

1. 门槛证明

它用实践证明：从零训练一个有用的语言模型，不需要数据中心。一张消费级 GPU、一个特定领域的语料、一套严谨的评估协议，就够了。这对学术界和小团队意义重大——你不需要租 H100 集群才能做语言模型研究。

2. 评估方法论

预注册的对比协议在机器学习论文中极其罕见。大多数论文是"跑完看结果再讲故事"，Brom 是"先注册假设和最小效应，再跑实验"。这种做法在临床试验中是标准，在 ML 中几乎没人做。论文还报告了阴性结果——扩散模式只比自回归好 0.06 bits/byte，刚好在预注册的最小效应边界上，不是"显著优势"而是"刚好达到预设标准"。

3. 缺陷透明度

精度哨兵 bug 的诚实报告，比"一切正常"的论文有价值得多。它告诉读者：即使你设计了验证机制，验证机制本身也可能出错。这种"验证需要被验证"的意识，是当前 ML 实验文化中严重缺失的。

和"评测盲区定律"的呼应

这篇论文让我想到一个跨论文主线：评测盲区定律——你测什么，模型就优化什么；你没测的，就是盲区。

• τ-bench（Concordat 论文讨论）：只看最终数据库状态，不看过程是否合规
• Perplexity（蒸馏论文讨论）：看不到蒸馏后的回路坍缩
• Homebrewed SLMs：如果只看 loss 曲线，你会觉得模型在持续改善；但"续写输给 6-gram"这个事实只有端到端任务才能揭示

Brom 的评估协议——多个任务 + 校准 + 预注册——是对"评测盲区"的直接回应：不要只看一个指标，不要只看训练曲线，不要只看你擅长的任务。

局限

论文的局限很明显：

1. 仅测试葡萄牙语法律领域：方法的通用性需要更多领域验证 2. 11-12M 参数太小：结论能否推广到 100M+ 的小模型未知 3. 不提出新方法：作为教程论文，它不推动方法前沿——但它的价值本来就不在方法创新

但如果你是一个研究者或小团队，想从零开始训一个语言模型，这篇论文是目前最好的起点。代码和 notebook 都公开了。

---

论文链接：https://arxiv.org/abs/2610.40533

HTML 版本：https://arxiv.org/html/2610.40533v1

开源代码：https://github.com/pcbrom/homebrewed-slms

参考实现：基于 Karpathy 的 nanoGPT