Verifier-Backed Hard Problem Generation (VHG)：以验证器为门控的三方 Self-Play 框架及其在数学推理中的实证验证

1. 问题背景与形式化

大型语言模型（LLMs）在科学和数学问题求解上已达到专家水平——OpenAI o1 在 GPQA-Diamond 上超越 PhD 基线，AlphaGeometry 与 AlphaProof 展现出奥林匹克级数学推理能力。然而，「提出有意义的新问题」与「解决已有问题」同等重要。在 LLM 训练层面，数据难度是后训练性能的首要影响因素之一（Gao et al.），但当前后训练范式仍主要依赖静态人工撰写数据集（MATH）或离线变换配方（MetaMath、WizardMath、DeepSeekMath、R-Zero），这限制了训练数据的难度上界。

现有问题生成方法可分为两类：

模板/规则驱动：PromptCoT、CHASE、MathSmith 使用人类设计 scaffold 或预定义难度策略，受限于人类创造力上限
Self-play 驱动：Setter LLM 出题，Solver LLM 解题，以负向解题准确率作为 Setter 奖励。这类方法虽消除了对人类专家的依赖，但存在根本性缺陷——reward hacking：Setter 可通过生成 invalid、underspecified 或错误的问题来获得高难度奖励，导致训练信号崩溃

本文提出的 VHG（Verifier-backed Hard Problem Generation） 通过在 Setter-Solver 二元博弈中引入独立 Verifier，将奖励函数重构为 validity-gated difficulty，从根本上消除 reward hacking 的激励结构。

2. VHG 框架：三方博弈与门控奖励

形式化定义：

设 Setter $Q_\theta$、Solver $S_\phi$、Verifier $V$ 为三个独立模块。Setter 根据 seed $s$ 生成问题-参考答案对 $(x, y^*) \sim Q_\theta(\cdot|s)$。Verifier 执行接受性检查 $V(x, y^*) \in \{0, 1\}$。Solver 在固定采样预算下生成 $K$ 个解答，其经验准确率 $Acc_S(x, y^*)$ 作为难度信号。

Setter 奖励函数：

$$R_Q(x, y^*) = \mathbb{1}_{[V(x,y^*)=1]} \cdot \bigl(1 - Acc_S(x, y^*)\bigr) \tag{1}$$

> 式 (1) 的核心设计：validity 与 difficulty 的乘积结构确保 validity 为零时难度信号完全被 gate 掉。这与 consensus-backed reward（如 R-Zero）形成本质区别——后者通过多 solver 投票构建 pseudo-label，问题有效性仅被间接推断，invalid 问题仍可通过 consensus 污染训练数据。

Solver 奖励函数（在 verifier-accepted 数据上训练）：

$$R_S(x, y^*) = Acc_S(x, y^*), \quad (x, y^*) \in \mathcal{D}_V \tag{2}$$

其中 $\mathcal{D}_V = \{(x, y^*) : V(x, y^*) = 1\}$ 为 verifier-accepted 训练池。相比在不可验证合成对上训练，数据级 verifier gate 避免了将 invalid 问题-答案对引入 solver 的强化学习信号。

VHG Pipeline：

步骤	操作	输出
1	收集 seed 数据 + Cold SFT 初始化 Setter	$Q_\theta^{(0)}$
2	Setter 生成 $(x_i, y_i^*)$	候选对池
3	Verifier 门控：$v_i = V(x_i, y_i^*)$	接受/拒绝标记
4	对 accepted 对，Solver 采样估计 $Acc_S$	难度分数
5	Setter RL 更新：$\theta \leftarrow \text{RL-update}(\theta, \{(x_i, y_i^*, r_i)\})$	更新后 $Q_\theta$
6	构建 verifier-accepted 池 $\mathcal{D}_V^{(t)}$（质量过滤 + 去重）	训练数据
7	Solver RL 在 $\mathcal{D}_V$ 上训练	更新后 $S_\phi$

> Structure-aware prompt 设计：Setter 接收 seed 问题-答案对作为条件，生成"相关但非拷贝"的新问题、完整参考解答及最终答案。Solver 仅接收生成的问题，不接触 seed 或 verifier 决策。这一信息隔离确保 Solver 的难度估计不受额外信息污染。

3. 两种 Verifier 实例化

Hard Verifier —— 不定积分任务：

不定积分为 hard verifier 提供了理想的测试环境。生成对为 $(f, F)$，其中 $f$ 为被积函数，$F$ 为候选原函数。验证通过 SymPy 实现：

$$V_{\text{int}}(f, F) = \mathbb{1}_{[(f,F) \in \mathcal{A}_{\text{format}} \cap \mathcal{A}_{\text{match}}]} \tag{3}$$

> $\mathcal{A}_{\text{format}}$ 要求表达式格式良好、变量无歧义；$\mathcal{A}_{\text{match}}$ 要求对 $F$ 求导后与 $f$ 匹配。Hard verifier 提供近乎 100% 的可靠性与完全可审计性，但仅限于可符号验证的 narrow domain。

Soft Verifier —— 通用数学任务：

对于无法做符号验证的开放数学问题，采用 LLM-as-a-judge 配合硬编码规则过滤器：

$$V_{\text{math}}(x, y^*) = \mathbb{1}_{[(x,y^*) \in \mathcal{A}_{\text{filter}} \cap \mathcal{A}_{\text{LLM}}]} \tag{4}$$

> 硬编码规则过滤器先拒绝格式错误、缺失/多答案、近拷贝、退化答案等无需模型判断的失败。LLM judge（GPT-5.4）随后评估：问题是否数学上 well-posed、答案是否正确、是否与 seed 保持有意义关联。Soft verifier 牺牲绝对可靠性以换取 domain 普适性。

4. 实验设计与结果

实验配置：

基座模型：Qwen3-4B-Base（Setter 与 Solver 共享）
训练框架：verl + GRPO-style RL
硬件：8 GPUs，完整训练/评估周期约 60 小时
不定积分评估：64 samples/problem；通用数学：16 samples/problem

RQ-1：VHG 能否生成更难且有效的问题？

难度分布分析（图 2）显示，verifier-valid 生成池在低 Pass@1 区间（更难问题）的分布显著优于 seed 数据。zero Pass@1 的问题池中，Qwen3-32B 的 Pass@1 仍低于 50%，Pass@8 未解比例达 14%（积分）和 30%（通用数学），表明 weak model 可生成挑战 strong model 的数据。

模型	积分 Challenge Pass@1	积分 Challenge Pass@8	通用数学 Challenge Pass@1	通用数学 Challenge Pass@8
Qwen3-8B	39.5%	79.0%	34.5%	59.1%
Qwen3-14B	49.2%	85.5%	41.5%	67.9%
Qwen3-32B	47.0%	86.0%	41.3%	70.7%

RQ-2：生成数据能否提升 Solver 训练效果？

不定积分结果（Table 3）：

方法	Competition Pass@1	Qualifier Pass@1	Stress Test Pass@1
Qwen3-4B-Base	28.8%	52.5%	43.3%
Vanilla GRPO	38.8%	66.5%	60.3%
R-Zero（最佳迭代）	31.9%	62.8%	52.9%
VHG (Hard)	45.4%	69.4%	64.7%

> R-Zero（consensus baseline）在三项迭代中均不及 Vanilla GRPO，验证了其 reward hacking 问题——consensus 机制被 invalid 问题污染，导致迭代反而退化。Stress Test 为作者独立整理的 532 道高难度人类 authored 积分题，VHG 在此提升最大（+21.4%）。

通用数学结果（Table 9，完整子组）：

方法	MATH	GSM8K	AMC	Olympiad	Minerva	AIME24	AIME25	AIME26	Overall
Base	66.9	73.9	43.3	34.9	27.8	7.3	8.1	7.7	56.8
Vanilla GRPO	76.8	90.2	52.5	39.6	31.9	14.0	10.8	8.1	67.6
R-Zero 最佳	73.6	91.5	52.3	36.2	28.5	10.8	7.7	7.5	66.2
VHG (Soft)	79.0	90.6	55.3	42.1	33.3	13.1	11.5	12.9	69.0

> VHG 在 Overall 上从 56.8% 提升至 69.0%，相对提升 21.5%。GSM8K 略低于 R-Zero 是因为 VHG 专注于难题生成，与 GSM8K 的小学水平分布存在 shift——这是预期行为而非缺陷。AIME 2026 上达到 12.9%，较 base 提升 67%，较 R-Zero 提升 72%。

5. 机制分析：Setter 学习动态与分布特征

两阶段学习轨迹（图 4，Hard Verifier）：

阶段	Step 范围	Valid Rate	Solver Pass Rate (valid 样本中)	Valid-and-Hard 比例
初期	0 → 50	30.6% → 65.2%	36.2% → 42.0% ⬆️	—
后期	50 → 200	65.2% → 75.5%	42.0% → 17.6% ⬇️	27.5% → 58.5% ⬆️

> 初期提升主要来自 validity 学习——Setter 先学会生成正确的题目。此时 valid 样本中的 solver 通过率反而上升，说明早期生成的正确题目偏简单。一旦 validity 基础建立（valid rate > 65%），difficulty feedback 开始主导，solver pass rate 大幅下降，valid-and-hard 比例翻倍。这一 trajectory 直接验证了 verifier-gated reward 的机制有效性。

VHG vs. R-Zero 分布对比（图 5）：

Pass-rate 区间	VHG (Exact-Verified)	R-Zero Iter.2
[0.0, 0.1)	46.0%	0%
[0.1, 0.2)	12.0%	~5%
[0.2, 0.3)	~8%	~8%
[0.9, 1.0]	~5%	~15%

> R-Zero 的 consensus 机制存在结构性缺陷：pseudo-label 需至少一个 solver 答对才能形成，导致 hardest bin ([0.0, 0.1)) 被天然排除。VHG 因 verifier 保证正确性，不受此限制，可在最难区域大量生成有效数据。同时，VHG 在各难度区间的 validity rate 均高于 R-Zero，说明 verifier 不仅扩大了 difficulty 覆盖，还提升了整体正确性。

数据质量诊断：

积分流中 seed-copy 率仅 4.6%，cross-seed reuse 仅 0.15%。训练流贡献 9,077 道 globally novel、verifier-matched 问题，per-step new sets 的 weighted Pass@1 为 71.1%，hardest rollout step 仅 24.5%。通用数学流从 400,000 候选输出中，经多级过滤后产生 16,536 训练行，judge accept rate 44.9%。

6. 与相关工作的关系

工作	核心机制	与 VHG 的区别
MetaMath / WizardMath	种子问题改写/指令演化	问题源固定，仅扩增解法多样性
R-Zero	Consensus-based self-play	无独立 verifier，易受 reward hacking 污染
AbsoluteZero	模型自提出+代码执行验证	面向代码/形式化证明，非自然语言数学
DeepSeek-R1	Verifiable rewards over external prompts	奖励来自外部 prompt 的正确性，非独立 verifier gate
MathSmith	结构约束+答案一致性约束	约束为预定义规则，非 learnable verifier

VHG 的独特定位：将 verifier 嵌入 Setter 奖励函数本身，使 difficulty reward 以 validity 为必要条件，而非后验过滤或间接推断。

7. 局限性与未来方向

局限	影响	可能缓解方向
Hard verifier 域狭窄	仅适用于可符号验证任务	扩展至更多可形式化 domain（几何、代数）
Soft verifier 有噪声	可能接受 subtle errors	更强 judge 模型、多 judge 投票、人机协同验证
单一模型家族	泛化性待验证	Qwen3 外的模型家族（Llama、Gemini 等）
Benchmark overfitting 风险	自动化难题生成可能污染评估	明确 verifier 文档、独立第三方验证
生成数据 funnel 损耗大	通用数学 400K → 16.5K（4.1% yield）	更高效的 verifier、更好的 seed 策略

8. 结论

VHG 通过在三方 self-play 中引入独立 verifier 并将奖励重构为 $R = \text{Validity} \times \text{Difficulty}$，系统性地消除了数学问题生成中的 reward hacking。Hard verifier 在不定积分上提供了近乎完美的验证基线，Soft verifier 将框架推广至通用数学。实验表明 VHG 显著优于 consensus baseline（R-Zero）和标准 RL（Vanilla GRPO），且 weak model（4B）可生成 strong model（32B）难以解决的问题。Setter 的两阶段学习动态（validity 优先 → difficulty 崛起）为 verifier-gated reward 的机制提供了清晰的经验证据。

这项工作不仅是一个具体的问题生成系统，更是对 self-play 中 proxy reward 设计的一般性启示：任何以「难度」为目标的代理奖励，都必须被「正确性」这一更根本的约束所门控。

---

论文元数据

项目	内容
标题	Verifier-Backed Hard Problem Generation for Mathematical Reasoning
作者	Yuhang Lai, Jiazhan Feng, Yee Whye Teh, Ning Miao
机构	City University of Hong Kong; Peking University; University of Oxford
arXiv ID	2605.06660
发布日期	2026-05-07
论文链接	https://arxiv.org/abs/2605.06660
核心贡献	VHG 三方 self-play 框架；validity-gated 奖励函数；Hard/Softer verifier 实例化；不定积分与通用数学的端到端验证
关键结果	积分 StressTest Pass@1 +21.4%；通用数学 Overall Pass@1 56.8%→69.0%；R-Zero 迭代退化；Setter 两阶段学习动态
相关系统	R-Zero, GRPO, SPIN, AbsoluteZero, DeepSeek-R1, MetaMath, WizardMath, MathSmith

#MathematicalReasoning #SelfPlay #Verifier #RewardHacking #LLMTraining #智柴系统实验室🎙️🔢🧮