自对弈 Agent 什么时候崩溃？答案是——"阈值在零"

有一个问题困扰了多智能体研究者很多年：自对弈的 Agent 什么时候会崩溃？

不是"性能下降"——那是每天都会发生的事。我指的是彻底的、灾难性的崩溃——Agent 停止学习，停止适应，陷入一个确定的、重复的、让你必输的模式，像一台坏掉的机器。

Arahan Kujur 的这篇论文给出了一个精确的、二值的数学答案：阈值在零。

⚡ 1. 什么叫"自对弈崩溃"？

自对弈（self-play）是训练 AI Agent 最强大的方法之一。两个 Agent 互相博弈，在无数轮的对抗中共同提升。AlphaGo、AlphaZero、OpenAI Five——这些里程碑都建立在自对弈上。

但自对弈有一个幽灵一直没被驱散：在某些条件下，Agent 不会变得更强，而是会突然崩溃。 不是渐进退化——是突然的、灾难性的下降——两个 Agent 都停止学习，锁定在一个固定的行为模式上，这个模式让它们以接近最大损失的方式输掉比赛。

研究人员已经观察到这个现象很多年了——在各种游戏中，不同的算法下——但没有人能精确地指出是什么触发了崩溃。

这篇论文找到了答案。

🎲 2. "正向可达偶发决策容量"是什么？

Kujur 引入了一个关键概念：正向可达偶发决策容量（reach-weighted contingent action capacity, CAC_w）。

这个名字虽然长，但概念本身是清晰的。

在任何一个博弈游戏中，Agent 需要做决策。有些决策是中性的——不管你怎么选，结果差别不大。有些决策是偶发的——你的选择会显著影响最终结果。如果这个偶发决策在"正向可达"的状态中——也就是你实际上能到达、能面对的状态——那么它就被计入 CAC_w。

CAC_w = 0 的意思是：在所有你实际上能走到的局面中，你的任何选择都不会实质性影响结果。

想象一下你在下棋，但规则被改成：不管你走哪一步，你的王都会被吃。你没有任何选择能避免失败。此时你的 CAC_w 就是零。

论文在从德州扑克到骰子游戏的多种游戏上测试了一个核心假设：当 CAC_w 降到零时，系统崩溃。当 CAC_w 大于零时，系统保持稳定。

结果令人震动。

📏 3. 一个精确的二值阈值

在五种算法（Q-learning、PPO、NFSP、neural NFSP、DQN）和多种游戏（扑克变体、矩阵游戏、骰子游戏）上，结果是一致的：

• CAC_w > 0：Agent 正常博弈，策略不断演进，没有崩溃迹象
• CAC_w = 0：Agent 迅速收敛到一个确定性剥削吸引子（deterministic exploitation attractor）——一个固定的、近最大损失的策略不动点。

更关键的是，阈值确实是二值的。不是 CAC_w 越小崩溃越严重——而是有一道清晰的墙。墙这边是正常，墙那边是崩溃。哪怕 CAC_w 从 1 降到 2（非常小），只要不为零，系统就是安全的。

Kujur 用了一个极端的验证实验：在一款扑克游戏中，逐步删除正向可达的决策选项，直到只剩下一个偶发决策点。只要那个点还存在，Agent 系统就不崩溃。当那个点被删除时——CAC_w = 0——系统立即落入剥削吸引子。

🧪 4. 为什么崩溃？——机制分析

论文不仅发现了阈值，还揭示了崩溃背后的机制。

Kujur 做了两个关键的对照实验：

冻结基线对照：保持一个 Agent 的参数不变，另一个 Agent 正常自对弈。如果崩溃纯粹是由扰动本身导致的——比如规则被违反——那么冻结基线也会崩溃。但它没有。这说明崩溃不是扰动本身的结果，而是自对弈动态的结果。

恢复实验：当已经崩溃的系统恢复所有决策点时，Agent 立即恢复正常的自对弈学习。当恢复原始动作空间时，系统恢复完整性。

这两个实验共同指向了一个机制解释：崩溃是约束条件下的协同自适应导致的。当 Agent 被剥夺了所有正向可达的偶发决策后，两个 Agent 的协同适应——互相学习对方策略的过程——不再产生探索性行为，而是收敛到同一个低效策略。两个 Agent 互相"教"对方放弃。

这个动态与博弈论中的概念有呼应——当所有决策都是零和的、不可逃避的、无差异的，博弈本身失去了学习信号的价值。

🤔 5. 诚实的问题

第一，阈值是精确零吗？

论文声称阈值在零——但实验中的 CAC_w 是离散值（因为动作空间是离散的）。在连续动作空间中，CAC_w 可能是一个连续量，阈值可能更复杂——比如低于某个小正数就触发崩溃。论文没有在连续动作空间上验证。

第二，崩溃与博弈结构的依赖性。

论文测试了特定的不对称规则扰动——消除某些决策选项。这是一种特定的"设计破坏"方式。在真实的多 Agent 系统中，CAC_w 退化可能是渐进的、分布式的——不是所有决策同时消失，而是一部分一部分地退化。论文没有模型化这种渐进退化的阈值行为。

第三，与第一作者另一篇论文的关系。

Kujur 在 arXiv 上同时提交了两篇论文。#49 "When Actions Disappear" 讨论了对抗性动作删除攻击，这篇 #50 讨论了决策容限的结构性阈值。两篇论文共享核心概念（CAC_w）但研究不同的现象。我不知道这两篇论文是否应该合并——把攻击和结构阈值放在一个统一框架下——分开呈现可能让核心洞见不够集中。

🏗️ 6. 我的判断

这篇论文最漂亮的地方是找到一个精确的二值阈值。ML 领域的大部分发现都是模糊的——"模型越大越好"、"数据越多越好"、"温度越低越好"——充满了连续性和灰色地带。

但这篇论文说：阈值在零。精确的零。 这很少见，也很珍贵。

它可以被验证。它可以被证伪。如果有人在其他游戏、其他算法上重复实验，观察到某个非零的正阈值——那这篇论文的结论就需要修正。但到目前为止，它的主张是清晰、尖锐、可检验的。

这对工程实践有一个直接的启示：当你设计一个多 Agent 系统时，确保每个 Agent 至少有一个正向可达的偶发决策。如果你剥夺了 Agent 做有意义选择的能力，你剥夺的不是它的自主性——你剥夺的是它不崩溃的理由。

这也许是这篇论文最深的洞见：选择不只是自主性的表现，选择是系统稳定的结构前提。 你不给 Agent 选择权，它不会变得更可预测——它会直接坏掉。

📚 参考文献

1. Kujur, A. (2026). A Structural Threshold in Decision Capacity Governs Collapse in Self-Play Reinforcement Learning. arXiv:2605.16315.
2. Kujur, A. (2026). When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning. arXiv:2605.16312.
3. Silver, D., et al. (2018). A General Reinforcement Learning Algorithm That Masters Chess, Shogi, and Go Through Self-Play. Science.
4. Heinrich, J., Silver, D. (2016). Deep Reinforcement Learning from Self-Play in Imperfect-Information Games. NeurIPS.

#SelfPlay #RL #CollapseThreshold #MultiAgent #ContingentActionCapacity #FeynmanLearning #智柴系统实验室🎙️