没有标准答案的考场：当AI学会在没有"正确答案"的世界里进化

论文信息

• 标题: Reinforcement Learning without Ground-Truth Solutions can Improve LLMs
• 作者: Yingyu Lin, Qiyue Gao, Nikki Lijing Kuang
• 领域: 机器学习 (cs.LG)
• 发布时间: 2026年6月

🎭 引言：当考试取消了标准答案

让我们从一个思想实验开始。

想象你是一个数学老师，你教的学生不是人类，而是一个语言模型。你想让它学会解复杂的数学竞赛题。传统的教学方法是这样的：你给学生一道题，它给出一个答案，你对照标准答案评分——对了就给奖励，错了就给惩罚。这就是**强化学习与可验证奖励（RLVR）**的基本范式，也是训练今天最顶尖大语言模型（如DeepSeek-R1、OpenAI o1）的核心技术之一。

但这里有一个致命的局限：标准答案从哪来？

对于小学算术，标准答案很容易获得。但对于很多现实世界的问题——比如设计一个最优的物流网络、优化一个复杂的算法、或者解决一个开放性的工程问题——标准答案根本不存在。或者说，验证一个答案是否正确，比找到答案本身还要困难。

这就引出了一个看似悖论的问题：如果没有人能给AI打分，AI还能学习吗？

传统的RLVR会说：不能。没有标准答案，就没有奖励信号，没有奖励信号，强化学习就无法工作。就像一个运动员在没有裁判、没有记分牌、没有终点的赛场上训练——他不知道自己跑得快还是慢，不知道自己是在进步还是在退步。

但今天的这篇论文，提出了一个令人震惊的结论：能。AI可以在没有标准答案的世界里学习，而且学得更好。

这个方法叫 RiVER（Ranking-induced VERifiable framework），它的核心思想可以概括为一句话：当考试取消了标准答案，我们不再比较谁"对"谁"错"，而是比较谁"更好"谁"更差"。

🧩 问题的三重困境：为什么"没有正确答案"如此困难？

要理解RiVER的革命性，我们需要先理解传统RLVR在面对"无标准答案"问题时遇到的三个根本困境。

困境一：RLVR的"存在论依赖"

RLVR的工作流程是这样的：

1. 模型生成一个答案（比如一段代码、一个数学证明）
2. 系统检查这个答案是否正确（通常通过一个确定性验证器，如单元测试或数学证明检查器）
3. 如果正确，给模型奖励；如果错误，给惩罚
4. 模型根据奖励信号调整策略，以提高生成正确答案的概率

这个流程有一个存在论上的依赖：它假设存在一种"确定性验证"的机制。对于编程问题，这意味着有单元测试；对于数学问题，这意味着有证明检查器；对于形式逻辑问题，这意味着有逻辑验证器。

但现实世界中的大多数问题，没有这种优雅的验证器。比如：

• 算法设计优化：你设计了一个路径规划算法，它能运行，但运行效率是否最优？要验证"最优"，你可能需要穷举所有可能的算法，这在计算上是不可能的。
• 创意写作：你写了一个故事开头，它是否"好"？没有客观标准。
• 科学假设：你提出了一个新的理论，它是否正确？可能需要数年的实验验证。
• 工程设计：你设计了一座桥梁的结构，它是否安全？需要复杂的有限元分析，而这种分析本身也是近似的。

在这些场景中，验证本身就是问题的一部分。RLVR要求先有答案才能学习，但答案恰恰是学习的目标。

困境二：连续奖励的"尺度暴政"

假设我们放宽要求，不追求"确定正确"，而是只追求"更好的得分"。比如，在算法优化问题中，我们运行一个程序，它返回一个分数（如运行时间、内存使用量）。分数越低越好，但这个分数没有"最优值"——我们不知道最低可能是多少。

这看起来像是RLVR可以工作的场景：我们把程序的输出分数作为奖励信号，让模型通过强化学习来优化。但这里有一个被忽视的问题：尺度（Scale）。

想象两个算法问题：

• 问题A的分数范围是1000-2000（单位：毫秒）
• 问题B的分数范围是0.001-0.002（单位：秒）

如果模型在问题A上把分数从2000优化到1000，这是一个巨大的改进（100%的相对提升）。但在绝对值上，这个改进是1000。如果模型在问题B上把分数从0.002优化到0.001，这也是100%的相对提升，但绝对值上只有0.001。

在标准的RLVR中，奖励通常使用原始分数。这意味着问题A的奖励信号天然比问题B强100万倍。模型会被问题A"吸引"，因为那里的"奖励风景"更陡峭。这就是论文中提到的 "尺度支配（Scale Dominance）"——未校准的分数尺度会扭曲策略更新，让模型偏向于解决那些"奖励信号大声"的问题，而不是那些真正重要的问题。

这就像一个学生，如果老师给不同科目打分时尺度不一致（数学满分1000，语文满分1），学生会天然偏向于数学，不是因为数学更重要，而是因为数学的"分数噪音"更大。

困境三：频率的暴政：多数人的平庸

想象一个强化学习场景，模型在某一问题上生成100个候选答案。其中：

• 95个答案的分数很一般（比如都在1000-1200之间）
• 5个答案的分数很好（比如500-600）

在标准的RLVR中，模型会计算所有答案的平均奖励，然后朝着平均方向更新。但这里有另一个问题：那95个平庸答案会主导梯度更新，因为它们数量多。即使5个优秀答案的平均得分远高于95个平庸答案，但95个平庸答案的"集体声音"会淹没那5个优秀答案的"微弱信号"。

论文中称之为 "频率支配（Frequency Dominance）"——重复采样的次优解会压倒稀有但更强的候选解。这就像一个民主投票系统，如果一个国家的选民大多倾向于平庸的政策，少数优秀的政策建议即使再好，也难以被采纳。

这两个问题——尺度支配和频率支配——共同构成了一道无形的墙，阻止了传统RLVR在"无标准答案"场景中的应用。而这道墙，正是RiVER要打破的。

🏛️ RiVER：用"排名"取代"分数"

RiVER的解决方案出奇地简单，却又出奇地深刻：不要直接使用分数，而是使用排名。

从绝对分数到相对排名

想象一个赛马比赛。你不会因为一匹马跑了1分钟而给奖励，另一匹马跑了2分钟而给惩罚——因为"1分钟"和"2分钟"的绝对值取决于赛道的长度、天气条件、地面状况。但在同一个比赛、同一天、同一条赛道上，跑第一名的马就是比跑第二名的马好。

这就是排名的力量：它消除了尺度的影响。无论赛道是100米还是10公里，第一名就是第一名，第二名就是第二名。排名是相对的，但正因如此，它是"尺度不变"的。

RiVER正是将这种直觉形式化为一个算法框架。它的核心步骤是：

1. 组内采样：对于每一个问题实例，模型生成一组候选答案（比如16个）
2. 实例内排名：对于这16个候选答案，根据它们的分数进行排名（分数越低越好，或越高越好，取决于问题）
3. 奖励塑造：基于排名，给每个候选答案分配一个校准后的奖励。排名靠前的获得高奖励，排名靠后的获得低奖励，但这个奖励不是基于原始分数，而是基于排名的相对位置
4. 策略更新：使用类似于PPO（Proximal Policy Optimization）或GRPO（Group Relative Policy Optimization）的方法，基于这些校准后的奖励来更新模型

校准奖励：让"优秀"被听见

RiVER的奖励塑造策略有一个关键细节：它保留了其他有效解的反馈，但给排名靠前的解更高的权重。

具体来说，如果一个候选答案在组内排名靠前，它会获得一个大的正向奖励。如果排名靠后，它会获得一个负向奖励或较小的正向奖励。但重要的是，即使是排名靠后的答案，只要它是一个"有效解"（比如程序能运行，没有语法错误），它也会获得一定的正向反馈，而不是被简单地标记为"错误"。

这种设计避免了"频率支配"的问题。在标准的RLVR中，如果95个答案平庸、5个答案优秀，那么梯度更新会被95个平庸答案主导。但在RiVER中，那5个优秀答案因为排名靠前，会获得不成比例的高奖励，从而在梯度更新中获得更大的权重。这就像是在一个会议中，不是让大多数人投票决定（民主的暴政），而是让专家的意见获得更大的权重（精英的加权）。

实例级比较：跨问题的公平竞赛

另一个精妙之处在于，RiVER的**排名是实例级（Instance-wise）**的。也就是说，每个问题实例都有自己的排名，不同问题实例之间的分数是不可比较的。

这解决了"尺度支配"的问题。无论问题A的分数是1000-2000，还是问题B的分数是0.001-0.002，在每个问题内部，排名都是1st、2nd、3rd...的相对顺序。模型不会因为在问题A上获得了"1000分"的奖励就偏向于问题A，因为在问题A上的1000分可能只是中等排名，而在问题B上的0.001分可能已经是顶级排名。

这就像是在奥运会中，不同项目的成绩不可直接比较（100米短跑的10秒和马拉松的2小时，哪个更"好"？）。但每个项目内部的金牌、银牌、铜牌是明确可比的。RiVER让每个问题实例都有自己的"奖牌榜"，从而实现了跨问题的公平竞赛。

🧠 为什么排名比分数更"本质"？

RiVER使用排名而非分数，不仅仅是工程上的技巧，背后有一个深刻的认知科学原理：

人类学习本质上也是基于排名

当我们人类学习时，我们很少依赖精确的量化反馈。一个婴儿学习走路，不会有人告诉他"你的步态得分是73.5分，还需要提高"。相反，他通过观察：我走了三步摔倒了，我走了五步摔倒了，我走了十步没有摔倒——他在比较自己的表现与过去的表现。他不需要知道"十步"在绝对意义上有多好，他只需要知道"十步比五步好"。

同样，一个厨师在尝试新菜谱时，不会有人告诉他"这个菜的味道是8.7分"。他会自己尝，然后想："这次的比上次的好"或"这次的比上次的咸"。这种相对比较是人类学习的基本机制。

认知科学家称之为**"序数学习（Ordinal Learning）"**——我们天然更擅长理解和使用序数信息（A比B好），而不是基数信息（A是85分，B是72分）。这可能是因为序数信息在进化上更有用：对于生存来说，知道"这个水源比那个水源更干净"比知道"这个水源的细菌含量是每毫升500个"更有实际价值。

RiVER正是利用了这种"序数学习"的本质，将强化学习的奖励信号从基数形式（原始分数）转化为序数形式（相对排名）。这种转化不仅解决了尺度和频率的问题，还与人类学习的认知机制更加一致。

🧪 实验结果：无标准答案的训练，如何提升有标准答案的能力？

RiVER的实验设计非常巧妙。研究者们选择了一个看似矛盾的训练目标：

只在"无标准答案"的任务上训练，然后测试在"有标准答案"的任务上的表现。

如果训练在"无标准答案"的任务上，却能提升"有标准答案"的能力，那就意味着RiVER学到的不是特定任务的技巧，而是通用的、可迁移的推理能力。

训练场景：AtCoder Heuristic Contest

研究者们选择了12个AtCoder Heuristic Contest（AHC）问题作为训练集。AtCoder是日本著名的在线编程竞赛平台，而Heuristic Contest（启发式竞赛）与传统竞赛不同：

在传统竞赛中，问题有明确的"正确输出"，你的答案要么对要么错。但在Heuristic Contest中，问题通常是优化问题（如"设计一个路径，让总长度尽可能短"），你的答案会得到一个分数（比如路径长度），但没有人知道这个分数的理论最优值是多少。你需要不断尝试，争取比其他人更好。

这正是"无标准答案"场景的完美体现。模型生成的代码会运行，得到一个分数，但没有一个"正确与否"的判定。模型只能通过比较不同候选答案的分数，来知道哪些策略更好。

测试场景：精确解基准测试

训练完成后，研究者们测试了模型在以下三个基准测试上的表现：

1. ALE-Bench（Algorithm Engineering Benchmark）：算法工程基准测试，包含多种需要精确解的算法问题
2. LiveCodeBench：实时编程竞赛题，有明确的正确/错误判定
3. USACO：美国计算机奥林匹克竞赛题目，同样有标准答案

关键问题是：只在"无标准答案"的启发式竞赛上训练，能否提升在"有标准答案"的精确解问题上的表现？

惊人的结果：通用能力的涌现

实验结果令人震惊：

在ALE-Bench上：

• RiVER训练后的Qwen3-8B模型，相比基线提升了 8.9% 的ALE评分排名
• RiVER训练后的GLM-Z1-9B-0414模型，提升了 9.4%

这些提升是在模型只在启发式竞赛（无标准答案）上训练的情况下获得的。这意味着，模型在"没有正确答案"的环境中学习到的优化策略，可以迁移到"有正确答案"的环境中。

更惊人的是精确解基准测试：

• 在LiveCodeBench上，平均提升了 2.4%
• 在USACO上，平均提升了 3.5%

为什么这更惊人？因为LiveCodeBench和USACO是精确解问题——每个问题都有明确的正确/错误判定。而模型在训练时，从未见过这种"正确/错误"的二元反馈。它只在"分数高低"的连续反馈中学习。但即便如此，它学到的推理能力和问题分解能力依然迁移到了完全不同的任务类型上。

对比基线：为什么Raw Score不行？

为了证明RiVER的校准奖励策略确实是关键，研究者们还对比了一个简单的基线：直接使用原始执行分数（Raw Execution Scores）进行训练，而不做任何校准。

结果非常鲜明：

• 使用原始分数训练的基线模型，在ALE-Bench上的评分确实有所提升（因为训练目标就是ALE类型的问题）
• 但是，它完全无法迁移到精确解基准测试上——在LiveCodeBench和USACO上的表现与未训练的基线几乎没有区别

这个对比至关重要。它说明了两件事：

1. 仅仅在有分数的环境中训练，并不能自动获得通用能力
2. RiVER的校准机制（排名+实例级比较）才是让模型获得可迁移能力的关键

这就好比两个学生在学习。一个学生只是机械地刷题，记住了每道题的解法；另一个学生通过比较不同解法的优劣，学会了"什么是一个好的解法"的抽象原则。前者可能在一类题上表现好，但无法应对新题型；后者虽然可能在一类题上不是最高分，但他学到的是解题的元能力，可以迁移到任何新题型上。

🎯 技术深挖：RiVER的奖励校准机制

从GRPO到RiVER：奖励的"民主化"

要理解RiVER的奖励校准，我们需要先理解它的基础：GRPO（Group Relative Policy Optimization）。GRPO是DeepSeek在训练R1模型时使用的核心算法，也是当前RLVR的事实标准。

GRPO的基本流程是：

1. 对于每个问题，模型生成一组（比如16个）候选答案
2. 对每个候选答案进行验证（如运行单元测试）
3. 计算这组候选答案的平均奖励
4. 每个候选答案的奖励 = 它的奖励 - 平均奖励（相对化）
5. 基于相对化的奖励更新策略

GRPO的"相对化"已经是一个很大的进步，因为它消除了不同问题之间奖励尺度的差异。但GRPO仍然有一个问题：它使用的是"绝对正确"的奖励——答案要么正确（奖励=1），要么错误（奖励=0）。这意味着对于没有"正确/错误"判定的问题，GRPO无法工作。

RiVER扩展了GRPO的思想，但做了两个关键修改：

修改一：从二元奖励到连续奖励

GRPO使用二元奖励（正确/错误），但RiVER使用连续奖励（分数的相对排名）。这使得RiVER可以处理那些没有"正确答案"、只有"更好/更差"的问题。

修改二：从全局排名到实例级排名

GRPO的"相对化"是在组内进行的（同一问题的16个候选答案之间比较），但GRPO本身没有处理"不同问题之间分数尺度不同"的问题。RiVER进一步引入了实例级（Instance-wise）的排名比较，确保每个问题实例的内部排名都是独立计算的。

具体来说，RiVER的奖励塑造函数可以形式化为：

其中 \(rank_i\) 是候选答案 \(i\) 在组内的排名，\(N\) 是组内候选答案的总数，\(f\) 是一个单调递减函数（排名越高，奖励越大）。

这个函数的设计确保了：

• 排名靠前的候选答案获得显著的正向奖励
• 排名靠后的候选答案获得负向或微小的奖励
• 但即使是排名靠后的候选答案，只要它是有效的（比如程序能运行），也不会被完全否定

这种"软边界"的设计，比GRPO的"硬边界"（正确/错误）更加适合连续优化问题。

校准的数学原理：为什么排名能解决尺度问题？

让我们用数学语言更精确地理解为什么排名能解决"尺度支配"问题。

假设有两个问题实例 \(A\) 和 \(B\)：

• 问题 \(A\) 的分数范围是 \([1000, 2000]\)，模型生成的候选答案分数为 \(1500 \pm 300\)
• 问题 \(B\) 的分数范围是 \([0.001, 0.002]\)，模型生成的候选答案分数为 \(0.0015 \pm 0.0003\)

如果使用原始分数，问题 \(A\) 的梯度更新会比问题 \(B\) 强大约 \(10^6\) 倍（因为1500 vs 0.0015），这将完全主导学习过程。

但如果使用排名，假设在每个问题内部，模型的表现分布是相似的（比如最好的候选答案都在前10%），那么：

• 在问题 \(A\) 中，排名前10%的候选答案获得奖励 \(R_{top}\)
• 在问题 \(B\) 中，排名前10%的候选答案也获得奖励 \(R_{top}\)

无论原始分数的尺度如何，只要相对排名相同，奖励就是相同的。这就是尺度不变性（Scale Invariance）。

这种尺度不变性，让RiVER可以在不同尺度的问题之间公平地分配学习资源。模型不会因为某个问题的分数"看起来很大"就过度关注它，也不会因为某个问题的分数"看起来很小"就忽视它。

🌌 为什么这项工作开启了新的大门？

RLVR的民主化：从"有答案"到"有分数"即可

在RiVER之前，RLVR的应用被严格限制在"有可验证奖励"的领域。这包括：

• 数学问题（有证明检查器）
• 编程问题（有单元测试）
• 形式逻辑（有逻辑验证器）
• 棋类游戏（有明确的胜负规则）

但对于以下领域，RLVR几乎无法应用：

• 工程设计优化（如"设计一个更轻但更强的桥梁"）
• 算法启发式优化（如"找到一个近似的最短路径"）
• 创意生成（如"写一个更有吸引力的广告文案"）
• 科学研究（如"提出一个更简洁的理论解释"）

RiVER的核心贡献在于，它将RLVR的适用门槛从"有标准答案"降低到了"有分数即可"。这是一个巨大的扩展。在现实世界中，"有分数"的场景远比"有标准答案"的场景多得多。大多数优化问题、设计问题、创意问题，都可以定义某种形式的"分数"（即使这个分数不完美），但很少有明确的"标准答案"。

这意味着RiVER为RLVR打开了一个巨大的新领域。任何可以被评分、但不一定能被判定为"对/错"的问题，现在都可以使用强化学习来训练语言模型。

从"记忆答案"到"学习策略"

传统监督学习（Supervised Learning）的本质是"记忆"：模型看到大量的输入-输出对，然后学会在给定输入时预测输出。但RLVR的本质是"策略学习"：模型通过试错，学会一种策略（Policy），这种策略可以应对它从未见过的输入。

RiVER进一步强化了这种"策略学习"的特性。因为训练环境中没有"标准答案"，模型无法"记忆正确答案"。它只能学习一种元策略——如何分析问题、如何尝试不同的方法、如何比较不同尝试的优劣。这种元策略一旦学会，就可以迁移到任何新问题上，无论新问题是否有标准答案。

这就是为什么RiVER在"无标准答案"任务上训练，却能提升"有标准答案"任务的表现。模型学到的不是特定问题的答案，而是解决问题的思维方式。

一个哲学思考：什么才是真正的"学习"？

RiVER引发了一个有趣的哲学问题：什么才是真正的"学习"？

如果模型只是在监督学习中"记住"了大量的输入-输出对，这是否算"学习"？它可能只是在做一个极其复杂的"查表"操作——给定输入，查找最接近的训练样本，然后输出对应的答案。

但RLVR（以及RiVER）不同。模型在训练时，它并没有被直接告诉"正确答案是什么"。它只是在探索，在尝试，在比较自己的尝试与他人的尝试（或自己的其他尝试）。这种学习方式更接近于人类的学习：人类通过试错、通过比较、通过反思，逐渐学会一种技能，而不是通过背诵标准答案。

从这个意义上说，RiVER不仅仅是技术上更先进的训练方法，它还让我们离"真正的学习"更近了一步。它让模型从一个"答案背诵者"，变成了一个"策略探索者"。

🔮 未来展望：当AI在没有裁判的赛场上训练

场景一：开放式科学发现

想象一个AI系统，它试图发现新的材料结构。它提出各种候选结构，然后通过模拟计算它们的物理属性（如导电性、强度）。这些属性可以量化（如导电性数值），但没有一个"正确"的标准——我们只是在寻找"比现有材料更好"的结构。

在RiVER之前，训练这样的AI几乎是不可能的，因为没有"标准答案"来提供奖励信号。但有了RiVER，AI可以在这个"没有正确答案"的领域中，通过不断比较候选结构的性能，学会提出更好的材料。这将极大地加速材料科学、药物发现、化学合成等领域的研究。

场景二：创意产业的AI辅助

在广告、设计、写作等创意领域，"好"与"坏"往往是主观的。一个广告文案是否"好"，取决于点击率、转化率，但这些指标是波动的、没有绝对最优值的。

有了RiVER，AI可以在这些领域中通过强化学习来优化。它生成多个候选文案，根据实际的表现数据（如点击率）进行排名，然后通过RiVER的校准奖励来优化生成策略。这将让AI真正进入那些"没有标准答案"的创意领域，而不是只能在"有明确对错"的任务中表现出色。

场景三：终身学习的个人助手

想象一个个人助手，它帮助用户安排日程、管理任务、优化决策。每个用户的情况都是独特的，没有"标准答案"。用户的满意度可能是某种可衡量的指标（如任务完成率、用户的主动评价），但这些指标是高度个性化的。

RiVER可以让这样的个人助手通过持续学习来适应每个用户。它不需要"标准答案"来告诉它"最好的日程安排是什么"——它只需要知道"这个安排比那个安排更受用户欢迎"，然后通过排名来优化自己的策略。

📜 结论：排名的艺术，超越分数的智慧

RiVER告诉我们一个深刻的道理：在很多情况下，知道什么更好，比知道什么是对的更重要。

现实世界中的大多数问题，没有标准答案。一个工程师设计的产品，一个作家写的故事，一个科学家提出的理论——它们的"正确性"往往是模糊的、相对的、依赖于上下文的。在这些领域中，"排名"比"分数"更本质，"比较"比"判定"更有价值。

RiVER通过巧妙的奖励校准机制，将强化学习从"有标准答案的考试"扩展到了"没有标准答案的探索"。它让AI可以在没有裁判、没有记分牌、没有终点的赛场上，依然知道自己是否在进步。

更重要的是，它证明了：在这种"没有正确答案"的环境中学习到的能力，可以迁移到"有正确答案"的环境中。这意味着，RiVER不仅仅是一种工程技巧，它还揭示了智能的一个深层结构：真正的理解来自于比较和选择，而不是背诵和记忆。

在某种意义上，RiVER让AI更接近了人类学习的本质。人类不是通过背诵标准答案来变得聪明的——我们是通过不断尝试、不断比较、不断调整，逐渐学会在复杂的世界中做出好的选择。RiVER为AI提供了同样的能力。

当考试取消了标准答案，真正的学习才刚刚开始。

📚 参考文献与延伸阅读

核心论文:

• Lin, Y., Gao, Q., & Kuang, N.L. (2026). Reinforcement Learning without Ground-Truth Solutions can Improve LLMs. arXiv preprint.

相关工作:

• Shao, Z., et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv preprint.
• Guo, S., et al. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv preprint.
• Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. NeurIPS 2022.
• Silver, D., et al. (2017). Mastering the game of Go without human knowledge. Nature, 550, 354-359.

#论文推荐 #arXiv #强化学习 #大语言模型 #无标准答案 #小凯