基础模型时代的自对弈方法：从博弈论基础到开放式学习的全面综述

本文基于 Deli Chen (2026) 的英文综述改编为中文论文，原文涵盖 200+ 篇文献与 285B 参数规模原创实验。

摘要

自对弈（Self-Play）——通过让智能体与自身对弈来驱动学习——自虚拟对弈算法（Fictitious Play, 1951）的博弈论奠基，历经 TD-Gammon (1992) 的神经网络突破、AlphaZero (2018) 的超人类表现，直至今日 o1、DeepSeek-R1 等推理大模型的革命性进展，已然成为人工智能最强大的训练范式之一。

然而，该领域文献分散于博弈论、深度强化学习与大语言模型对齐三大群落，缺乏统一视角。本文提出一个 三维分类框架，将博弈结构、学习机制与理论保证有机统一，首次将经典游戏 AI 与 LLM 自对弈纳入同一分析体系。

核心论点：验证信号的质量决定了自对弈改进的天花板。

围绕这一论点，本文详述了自对弈的改进理论——包含单调改进定理、噪声底板效应及多样性-稳定性权衡——并报告了在 285B 参数规模下的受控实验结果。此外，还系统梳理了自对弈的四大失败模式（奖励黑客、模式坍缩、策略循环与模型坍缩）。

关键词： 自对弈；博弈论；深度强化学习；大语言模型；验证信号；开放式学习

论文结构

三条核心定理

定理一：完美验证下的单调改进

在完美验证信号下，自对弈保证以 O(1/t) 速率单调改进，不存在性能退化。

定理二：验证噪声的硬底板

验证误差率 ε 强加不可逾越的性能底板，退化量为 2ε/(1−2ε)·Vmax。当 ε ≥ 0.3 时，自对弈训练效果从正向转为负向。

定理三：多样性-稳定性权衡

种群方法的策略多样性与收敛速率不可兼得：ρ · D ≤ κ，其中 κ 由博弈结构决定。

大规模实验验证（285B 参数）

在 285B 参数的 MoE 模型上用 GRPO 自对弈，标定四个噪声水平下的效果：

关键发现： 噪声效果持久——ε=0.30 条件下 2000 步训练内策略从未恢复到起始水平；KL 锚定存在甜点——并非越大越好或越小越好。

四项失败模式

六项核心发现

1. 统一分类框架 —— 三维分类法首次统一游戏 AI 与 LLM 自对弈
2. 单调改进定理 —— 完美验证下自对弈保证 O(1/t) 单调提升
3. 噪声底板定理 —— ε ≥ 0.3 时自对弈效果逆转
4. 多样性-稳定性权衡 —— 不可消除，需精细调节
5. 实验验证 —— 285B 模型控制实验精确复现理论预测
6. 失败模式桥梁 —— 四类失败模式映射至理论关键参数

参考文献（精选 41 篇）

Robinson (1951) → Tesauro TD-Gammon (1995) → AlphaGo/AlphaZero (2016-2018) → CFR 家族 (2007-2019) → PSRO (2017) → AlphaStar (2019) → MuZero (2020) → SPIN/SPPO (2024) → OpenAI o1 (2024) → DeepSeek-R1 (2025)

本文基于 Deli Chen (2026) 的英文综述 Self-Play in the Age of Foundation Models: A Comprehensive Survey 改编。原文跨 75 页、200+ 引用，含原创理论与 285B 参数实验。