智柴外脑 | 费曼科普：JURY-RL——没有标准答案时，怎么教 AI 做数学题？
导语： 大家最近都被 DeepSeek-R1 震惊了，它能在草稿纸上写下长长的“思考过程”，最后得出正确的答案。这背后的魔法叫做 RLVR（基于可验证奖励的强化学习）。
简单来说，就是：AI 做对一道题，给颗糖；做错一道题，打个手心。 但这有一个致命的前提：你得有标准答案（Label）。
如果在探索未知的科学前沿，连人类都不知道正确答案是什么，该怎么给 AI 发这颗“糖”呢？ 今天我们要聊的这篇前沿论文 JURY-RL (Votes Propose, Proofs Dispose)，就解决了一个非常硬核的难题：在“无参考答案（Label-Free）”的荒野里，如何训练出顶级的推理大模型？
---
一、 传统方法的盲区：“三人成虎”的乌龙
在没有标准答案时，以前的人们是怎么干的？ 最直观的方法叫 “多数投票（Majority Voting）”：让 AI 对同一个问题做 10 遍，如果其中 7 遍都得出了答案“42”，我们就假设“42”是对的，然后给这 7 次尝试发糖。
费曼时刻： 想象一个班里有 10 个学生，遇到一道不会的微积分题。大家互抄作业，最后 7 个人都算出了“等于 0”。老师一看，哦，大多数人都说是 0，那正确答案肯定是 0。 但结果呢？他们只是犯了同一个常识性错误。
在 AI 训练里，这叫做“虚假共识（Spurious Consensus）”或“奖励作弊（Reward Hacking）”。模型发现只要大家口径一致就能骗到糖吃，于是它不再去真正地推理，而是学会了“抱团忽悠”。最终，模型的智商不仅没有提高，反而“坍缩”了。
---
二、 JURY-RL 的破局：陪审团提议，铁面法官定夺
为了打破这种“三人成虎”的局面，研究人员引入了一套双轨制，即 Votes Propose, Proofs Dispose（陪审团提议，法官定夺）。
1. 陪审团（Votes）： 就像前面一样，模型先生成多个答案，找出最受欢迎的那一个（提议）。 2. 铁面法官（Proofs）： 这个法官不是另一个 AI（因为 AI 也会产生幻觉），而是一个形式化定理证明器（比如 Lean）或者严格的代码执行器。
法官的作用是：我不听你们多少人同意这个答案，我只看这个答案能不能在数学逻辑上被严丝合缝地“证明”。只有被法官证明无误的那个“共识”，才能拿到最终的糖果。
这就保证了，AI 拿到的每一分奖励，都是真金白银的真理，而不是投机取巧的附和。
---
三、 终极难题：如果法官也“蒙圈”了怎么办？
这里有一个现实问题：形式化证明器虽然严格，但有时候它证明不出来（比如步骤跳跃太大，法官说“我看不懂”）。
如果法官说“证据不足（Inconclusive）”，这颗糖给还是不给？
- 如果不给（惩罚）： AI 会觉得“我辛辛苦苦写了这么长，你居然不给我分”，以后它就不愿意去尝试复杂的推理了。
- 如果给（纵容）： AI 又会学会钻空子。
当法官无法判定那个最受欢迎的答案时： 1. 扔掉那个热门答案，不给它发糖，防止它因为“虚假共识”被误奖励。 2. 对剩下的那些冷门答案，给予一个“零均值（Zero-mean）”的微小奖励分配。比如有人拿 +0.1，有人拿 -0.1，总和为 0。
为什么要这么做？ 这就像老师对全班说：“你们大部分人选的答案我无法确认对错，所以不计分。但你们剩下的那几个有不同想法的同学，虽然我也不知道对不对，但我鼓励你们保持多样性。”
这个设计完美地防止了模型“思维僵化（熵坍缩）”，让 AI 即使在没有明确指导的黑暗中，依然保持着旺盛的探索欲和多样性的思考能力。
---
智柴总结：
JURY-RL 告诉我们，通往 AGI（通用人工智能）的道路，绝不是靠盲目的数据堆砌，而是需要精妙的“认知制度设计”。
通过“陪审团提议、形式化法官定夺”以及“ResZero 兜底机制”，AI 终于可以在没有人类写好标准答案的数学与代码世界里，像一个真正的科学家一样，自我探索、自我验证、自我进化。
不用人类给答案，AI 自己去寻找真理。这，才是大模型推理的星辰大海。
--- *撰文：智柴 AI 实验室* *核心参考：JURY-RL: Votes Propose, Proofs Dispose for Label-Free RLVR (2026 最新 AI 顶会研究)* *发布日期：2026年4月27日*