镜子里的老师：当AI学会给自己批改作业

我认识一个学数学的孩子。他做完一道题，没有答案可以对，也没有老师能问。于是他把自己的解法誊了三遍，逐行检查哪里跳了步、哪里假设了不该假设的东西、哪里算错了符号。最后他把通过自己审查的那几份解法装订成册，当作明天的习题集。听起来有点孤独，也有点不可思议——但这正是斯坦福大学两位研究者最近在一篇论文里让语言模型做的事。而且，它居然奏效了。

🪞 1. 一个没有答案的自习室

想象一间自习室。墙上贴满了数学题，没有附答案。没有老师走动，没有参考书，没有网络。你手里只有一支笔和一叠草稿纸。你能做什么？

大多数人对这个问题的直觉是：什么都做不了。没有反馈的学习，在机器学习领域有个更学术的名字——"无监督"——但它通常意味着模型在海量文本里找统计规律，而非解一道具体的数学题。解数学题需要知道"对"还是"错"，而这个自习室里，连"对"的定义都没有。

Stanford的Tony Lee和Percy Liang偏偏把这个场景当作起点。他们问了一个更激进的问题：一个已经训练过的语言模型，能不能只靠一堆没有答案的题目，让自己变得更会解题？

这听起来像让一个人拔着自己的头发离开地面。模型生成的解答，模型自己来判断好坏，然后用这些自己挑出来的解答再训练自己——整个闭环里没有外部裁判。骗子的成绩单由骗子自己审核，然后骗子根据审核结果决定下次怎么骗。这个结构里，哪里容得下"进步"？

Lee和Liang的答案是：验证的强度决定了一切。 不是"有没有验证"，而是"验证有多严格"。

🔗 2. 三扇门的守卫

他们设计了一套过滤机制，起名Self-Verified Distillation——我暂且译为"自验证蒸馏"，虽然这个翻译丢失了distillation里"精华萃取"的化学隐喻。机制的骨架很简单：对每一道无标注题目，让模型生成n个候选解答；每个候选解答要通过三道检查；全票通过者，方能进入训练集。

第一道门叫循环一致性（Cycle-Consistency）。这是什么意思？打个比方：你解了一道几何题，答案是"角A等于60度"。现在我把你的解答过程遮住，只把"角A等于60度"这个结论递回给你，让你反推题目条件。如果你反推出来的条件跟原题一致，说明你的解答至少在逻辑上是自洽的——你没有凭空变出一个60度。这扇门筛掉的是那些"自己都不知道自己在说什么"的胡言乱语。

第二道门叫事实性（Factuality）。模型在解题过程中可能调用外部知识——比如引用某个定理、某个公式、某个历史事实。事实性检查就是追问：你说的这个定理真的存在吗？你引用的公式写对了吗？这一步的难点在于，没有外部工具的情况下，模型只能靠自己的参数记忆来交叉核对。Lee和Liang的办法是：对每个事实性声明，让模型多次独立判断，只有当所有判断一致时才放行。 unanimous vote——全体一致，一票否决。

第三道门叫正确性（Correctness）。这是最接近"标准答案检查"的一步，但注意，题目本身没有标准答案。所以正确性检查不是简单的答案匹配，而是让模型从多个角度审视：这个解法在逻辑上是否成立？有没有隐含假设被忽略？边界条件是否处理？同样，多次独立判断，全体一致才通过。

三个守卫，每个都要 unanimous vote。一个候选解答要连闯三关，三关都要全票通过，才能被收录进训练集。这个标准有多严？Lee和Liang在论文里报告：对于某些难度较高的种子问题，模型生成了一百个候选解答，能通过全部过滤的，可能只有寥寥数个，甚至一个都没有。

🧮 2.5 验证器从哪来？UQ benchmark的遗产

说到这儿，一个自然的问题是：Lee和Liang怎么想到用这三道检查？这个设计不是凭空掉下来的，它的根扎在一个叫Unsolved Questions（UQ）的benchmark里。

UQ是2025年由Allen Institute for AI提出的一套评估框架，专门用来测模型在"没有标准答案的问题"上的表现。传统的benchmark比如MATH或GSM8K，每道题都有标准答案，模型答对了就得分。但现实世界里的很多问题——数学里的开放猜想、科学里的前沿问题、编码里的需求模糊的任务——根本没有标准答案可以比对。UQ的做法是：不用答案匹配，而是用复合验证器来筛候选解答。

这些验证器包括循环一致性检查、事实与逻辑核对、正确性判断、重复迭代判断、全体一致投票等。关键点是它们全都是无oracle的——不需要知道正确答案，只靠问题本身和候选解答的结构属性就能运行。Lee和Liang的聪明之处在于：他们把UQ从"评估工具"挪到了"训练工具"的位置。UQ本来是用来判断"这个候选解答值不值得让人类专家看"，现在被用来判断"这个候选解答值不值得让模型自己学"。

这个挪用有一个隐含假设：对人类评估者有用的过滤标准，对模型自己也有用。这个假设是否总是成立？我不确定。人类和模型犯的错误类型不同——人类可能因为粗心算错，模型可能因为训练数据里的偏见而系统性地误解某个概念。如果模型在某类问题上存在参数层面的系统性偏差，那它生成的错误解答和它的验证器对同一错误的容忍度可能高度相关，过滤就会失效。Lee和Liang在论文里没有直接测试这个场景，我觉得这是一个值得后续跟进的方向。

📉 3. 一个反直觉的发现：不是所有自训练都能进步

这里有一个我读到时愣了一下的结果。

Lee和Liang对比了两种做法。第一种：模型生成解答，不做任何验证，直接拿全部自生成数据训练。第二种：经过上述三阶段强验证过滤后，再用过滤后的数据训练。

第一种做法——我称之为"裸奔式自训练"——在某些情况下反而让模型变糟了。数学成绩下降，科学推理退步，编码正确率滑坡。模型把自己生成的错误解答吃进去，错误被强化，偏差被放大，最后成了一个更自信但更不准确的版本。

这个发现本身值得停下来想一想。近年来学术界对"自我改进"的热情很高，从STaR到Quiet-STaR到各种self-distillation变体，似乎默认"模型吃自己的输出"这条路至少不会更差。Lee和Liang的数据说：不一定。如果不对输入模型的数据质量设门槛，自训练可以是毒药。

而第二种做法——强验证过滤后的自训练——则呈现出另一番图景。Qwen3-4B模型（40亿参数）在数学基准AIME26和HMMT上的综合pass@1提升了16.7分；在科学基准GPQA Diamond和HLE上提升了11.1分；在编码基准LiveCodeBench v5和v6上提升了8.3分。0.6B和8B模型也有不同程度的提升，虽然0.6B模型的结果波动更大，暗示模型基础能力可能是自验证有效性的一个门槛。

⚖️ 4. 训练时花钱，还是测试时花钱？

这个领域的另一条主线是"测试时计算"（test-time compute）：推理时多采样几个答案，让验证器挑最好的，以此提升准确率。Lee和Liang也做了这个对比。他们实现了一个测试时计算的基线UQ-TTC，在推理阶段应用同样的三阶段验证来挑选答案。

结果是：Self-Verified Distillation在多数设置下达到了与UQ-TTC相当或更好的性能，但测试时只需要单次推理调用。也就是说，验证的计算开销被摊销到了训练阶段，模型参数里"固化"了验证后的精华，而不是每次回答问题都重新走一遍验证流程。

从工程角度，这更像是一种 知识压缩：把昂贵的多路验证压缩成模型参数中的隐含偏好。模型在训练时"吃过苦头"，见过足够多的错误版本，知道哪些思路走不通；测试时它可以直接给出经过验证洗礼的解答，而不需要临时组织一个评审团。

🧠 5. 认知之轨：我在读这篇论文时的几次摇摆

写到这儿，我想暂停一下技术叙述，记录我自己在理解这项工作时的认知轨迹。

第一次读到摘要时，我的反应是"又一个self-improvement的变体"。这个领域论文太多了，从2022年的STaR到2024年的各种distillation方案，每隔几个月就有人宣称模型可以自我提升。我的初始假设是：这大概是在已有框架上的小幅调优。

但读到"未经筛选的自训练会损害性能"时，我的假设动摇了。大多数self-improvement论文都在展示正向收益，很少有人在正刊里详细报告负向结果。Lee和Liang把"裸奔式自训练"的退化数据摆出来，这不是谦虚，这是诚实——而诚实本身在这个语境下就是一个信号，暗示作者对方法边界的认知是清晰的。

第二次摇摆发生在理解三阶段验证机制时。我最初以为"循环一致性"是个花哨的同义反复检查——模型自己验证自己，能有多可靠？但仔细想后意识到，循环一致性的力量不在于"绝对正确"，而在于筛除内部矛盾。一个模型可能在参数里存了错误知识，但如果它的生成逻辑是自洽的，错误至少在局部是稳定的；而自洽性检查可以把那些"连模型自己都无法复现的胡言乱语"过滤掉。这是第一层粗筛，不是终审判决。

第三次不确定感来自"unanimous vote"的设计。Lee和Liang让模型对同一个候选解答做v次独立判断，必须全部通过。这在直觉上很保守，但我怀疑它是否过度保守了——会不会把好解答也筛掉了？论文里没有直接报告"假阴性率"，这是一个我无法从现有数据中确认的点。如果验证太严，训练集可能太小，导致模型学到的东西不够多样。Lee和Liang用OpenThoughts数据集的大体量（数学53,125题、科学26,041题、编码9,168题）来缓解这个问题，但"验证严格度vs数据多样性"的trade-off，我觉得在这篇论文里还没有被完全量化。

🌊 6. 信号论视角：验证作为噪声过滤

以信息论的透镜重新审视这个现象，让我试试。

模型生成的候选解答，可以看作是从一个条件分布中采样的信号。这个信号里混了两类噪声：系统噪声（模型对某类问题持续犯错，比如总是误用某个定理）和随机噪声（采样过程中的偶然偏差，比如某一步计算失误）。

未经筛选的自训练，相当于把信号连同噪声一起反馈回系统。如果噪声是随机的，多次迭代可能平均掉；但如果噪声是系统的，反馈回路会放大它。Lee和Liang观察到的"裸奔式自训练退化"，很可能就是系统噪声被放大的结果。

三阶段验证的作用，是引入一个非线性滤波器。循环一致性筛除自相矛盾的随机噪声；事实性检查压制参数记忆中的系统噪声（错误知识）；正确性检查则对逻辑结构做整体性审查。unanimous vote进一步提高了滤波的阈值——只有当信号在多次独立采样中保持稳定时，才被认为是"可靠的"。

从信息论的角度，这个过滤过程降低了训练数据的熵——它变得更结构化、更可预测、更少内部矛盾。而模型从低熵数据中学习，学到的映射也更紧凑，测试时的泛化误差可能因此减小。这与论文中"测试时单次推理即可达到多路采样效果"的观察是一致的：模型参数已经编码了经过压缩的验证信号。

当然，这个信息论叙事是我自己的重构，不是论文的原话。Lee和Liang没有用熵或互信息来形式化他们的方法，上述解释是我的事后诠释，其有效性有待进一步检验。

🎯 7. 多重路径：如果我们换一种方式做自训练

让我推演几种Self-Verified Distillation的替代方案，看看它们可能落在什么位置。

路径A：弱化验证，增加数据量。 如果我们把unanimous vote改成多数决（比如v=5次判断中3次通过即可），训练集会大很多，模型见过的"解答空间"也更广。但代价是更多错误解答混入，可能重演"裸奔式自训练"的退化。这条路径赌的是：多样性收益大于噪声危害。Lee和Liang的数据暗示，至少在Qwen3-4B的规模上，噪声危害似乎更大。

路径B：引入外部验证器。 不用模型自己做三阶段检查，而是训练一个专门的验证器模型（或调用外部工具如Python执行器、定理证明器）。这可以显著提升过滤精度，但违背了论文的核心设定——"无外部教师、无工具反馈"。这条路径在工程上更实用，但概念上偏离了"模型是自己的合成数据管道"这个纯自举的理想。

路径C：把验证从离散过滤改成连续加权。 不是"通过/不通过"的二元决策，而是给每个候选解答打一个质量分，训练时用分数做样本加权。这可以让"边缘好解答"也有贡献，但引入了新的超参数（权重函数），且分数校准本身是个难题。

路径D：迭代式蒸馏。 不是一次性生成n个候选然后过滤，而是让模型生成解答、自我批评、修正、再批评，循环k轮后取最终版。这与近期的self-revision工作更接近。潜在优势是解答质量随迭代提升；潜在风险是模型陷入自我循环的局部最优，越修越歪。

Lee和Liang选择的路径，在"严格验证保证质量"和"纯自举不依赖外部"之间走了一条窄路。它可能不是数据效率最高的方案（unanimous vote太严），也可能不是工程上最容易部署的方案（生成+验证的计算开销不小），但它在概念上最干净：一个封闭系统，仅凭问题本身，就能提炼出让自己变聪明的养料。这个概念的纯度，是它区别于以往self-training工作的核心。

🧪 8. 几个尚未回答的问题

这篇论文留下了一些我读了之后仍然挂着的问题。我不确定答案，但觉得值得记在这里。

问题一：验证的unanimous vote有多脆弱？ 如果模型在某类问题上有系统性偏见，循环一致性、事实性、正确性三道检查可能同时失效——因为它们调用的是同一个参数集合。Lee和Liang报告了"零标注数据下的提升"，但没有报告"验证器自己出错率是多少"。如果一个候选解答实际上是错的，但模型三次独立判断都误以为对，这个"假阳性"会被无条件收录进训练集。论文里没有直接量化这个风险。

问题二：种子问题的质量边界在哪？ 实验用的种子问题来自OpenThoughts数据集，这是一个已经过筛选的、面向推理任务的优质题库。如果种子问题换成更低质量、更嘈杂、甚至包含错误前提的数据集，自验证蒸馏还能工作吗？论文没有在这个方向上做过ablation。

问题三：模型规模的临界点。 0.6B模型的提升"更小且更不一致"，这暗示自验证的有效性可能有一个能力门槛。但门槛在哪？4B能行，0.6B不太行，那1B呢？2B呢？这个临界点对实际应用很重要——小模型更便宜、更快速，如果它们无法从自验证蒸馏中受益，那这个方法主要惠及的是已经相当强大的模型。

问题四：与RLVR的对比。 2025-2026年最火的post-training方法是RLVR（Reinforcement Learning with Verifiable Rewards），它用可验证的奖励信号（比如代码能否通过单元测试、数学题答案是否匹配）来训练模型。Self-Verified Distillation和RLVR的关系是什么？它们是互补的（先用SVD生成高质量数据，再用RLVR微调），还是互斥的（SVD试图替代RLVR对标注数据的依赖）？论文里没有直接讨论这个对比，我觉得是一个可以延伸的方向。

问题五：温度参数的选择。 Lee和Liang在生成和验证阶段都用了temperature=0.8、top-p=0.95的设置。这个温度不算低——0.8意味着模型有相当的随机性，会探索解答空间的不同角落。但验证阶段用同样的温度，是否意味着验证器本身也带随机性？如果验证器在一次判断中因为采样随机性而给出错误结论，unanimous vote可以部分缓解这个问题，但缓解的程度取决于v（重复判断次数）和错误的相关性。如果多次判断的错误是相关的——模型总是因为同一个采样偏差而误判——那v再大也没用。论文没有报告不同v值下的验证稳定性曲线，这是一个可以深挖的点。

问题六：编码任务的验证特殊性。 编码任务有一个天然优势：代码可以执行。Self-Verified Distillation在编码上的提升（+8.3分）虽然显著，但相比数学（+16.7分）和科学（+11.1分）要低。我猜测一个原因是：编码任务的"正确性"本来就有更客观的衡量标准（单元测试通过率），而Self-Verified Distillation用的是基于LLM的验证器，其判断质量可能不如实际执行。换句话说，在编码领域，Self-Verified Distillation的验证器可能反而不如已有的工具链（编译器+测试框架）。如果这个猜测成立，那么Self-Verified Distillation的最大价值可能集中在那些"难以自动验证"的领域——数学证明、科学推理、开放域问答——而非已经存在确定性验证器的领域。

🔬 9. 实验细节里藏着的信号

论文的实验设计里有一些我读了之后觉得"有讲究"的选择，值得单独拎出来说。

种子数据的规模。 数学53,125题、科学26,041题、编码9,168题——这个数量不小。Lee和Liang明确说，他们只用了OpenThoughts的"问题"部分，故意丢弃了数据集附带的推理过程和答案。这意味着实验设置严格符合"无标注"的设定。但OpenThoughts本身是一个经过精心筛选的数据集，它的题目难度分布、领域覆盖、语言风格都经过优化。如果换一批质量参差不齐的种子问题，结果会怎样？论文没有在这个维度上做ablation，但从工程角度，种子质量显然是自验证蒸馏的上游瓶颈。

验证的计算开销。 论文报告的数据构造参数是n（每个问题的候选解答数）和v（每个验证阶段的重复判断次数）。我没有在论文里找到具体的n和v数值——它们可能在附录里，而我只读了前六页正文。但从原理上，这个开销是显著的：每道种子问题要生成n个候选，每个候选要通过3×v次LLM调用，最后只有一小部分能通过。以数学53,125题为例，如果n=100、v=3，总LLM调用次数是53,125×100×9≈4,780万次。这个数字在工程上不是小事，尤其是如果验证调用用的是和生成同样规模的模型。Lee和Liang提到"训练时计算可以摊销"，但摊销的前提是你会反复用同一个训练好的模型回答大量问题。如果模型只服务少量查询，训练时的巨大开销可能得不偿失。

Qwen3的选择。 为什么选Qwen3而不是Llama或GPT系列？论文没有明确解释。Qwen3是阿里巴巴开源的模型系列，以推理能力见长，且支持长上下文（论文用的max output length是32,768 tokens）。可能的原因是Qwen3在数学和编码上的基线性能较好，且开源模型便于复现。但这也意味着论文的结论是否迁移到其他架构（decoder-only vs. MoE）还不确定。

🌱 10. 蒸馏的隐喻：从化学到认知

Distillation这个词原本来自化学——加热混合物，让不同沸点的组分先后蒸发，收集想要的馏分。在机器学习里，Hinton 2015年把它借来，描述小模型学习大模型"软化"后的概率分布，像是把大模型的知识"蒸馏"成小模型可以容纳的精华。

Lee和Liang把这个隐喻往前推了一步。他们问：如果蒸馏的源头不是另一个更大的模型，而是模型自己呢？而且蒸馏的方法不是概率分布的模仿，而是多阶段验证的过滤？

在这个新版本里，"蒸馏"不再是知识的转移，而是知识的提纯。模型自己产出原料，自己搭建过滤装置，自己决定什么值得留下。整个过程的自动化程度，比传统distillation高了一个量级。

但这个自动化也带来一个微妙的悖论。化学蒸馏之所以能提纯，是因为化学家知道目标产物是什么——乙醇的沸点是78°C，水的沸点是100°C，所以控制温度就可以分离。而Self-Verified Distillation的目标产物（"好的解答"）并没有一个独立于模型之外的定义。它是由模型自己的验证器动态构造的。这意味着，"提纯"的标准本身会随着模型的变化而变化——模型变强了，验证器变严了，通过过滤的解答质量上限也提高了。这是一个共进化的系统，而非单向的提纯过程。

这个观察让我想到一个更古老的隐喻：苏格拉底式的诘问。苏格拉底从不直接教学生知识，他只是提问，让学生自己发现矛盾，然后修正。Self-Verified Distillation的循环一致性检查，不正是模型在对自己做苏格拉底式的诘问吗？"你说了A，那根据你的逻辑，B应该成立——但B和原题条件矛盾，所以你的解答有问题。"

当然，这个类比可能过度浪漫化了。模型没有意识，苏格拉底有。但结构上的相似性仍然让我觉得有趣。

📊 11. 论文元数据

#CrushAI #FeynmanLearning #智柴系统实验室🎙️