涌现：大模型里长出来的"意外之才"

一个让物理学家兴奋了150年的词

1877年，哲学家 G. H. Lewes 造了一个词——"emergence"（涌现）。他的意思很简单：整体可以拥有部分不具备的性质。水分子不湿，但水湿。这个想法沉寂了近一个世纪，直到1972年，物理学家 P. W. Anderson 写了一篇改变科学史的文章：《More Is Different》。他的论点更锋利：知道基本粒子的全部规律，不等于知道宏观世界的规律。 每一层复杂度都会诞生新的法则，这些法则无法从下一层"推导"出来。

快进到2025年。一个只做"预测下一个词"的神经网络，突然学会了做数学题、写代码、理解因果——而这些能力，没有人显式地教过它。Anderson 若在世，大概会说：这不就是"More Is Different"的又一次验证吗？

慕尼黑工业大学的 Leonardo Berti、罗马第一大学的 Flavio Giorgi 和慕尼黑工业大学的 Gjergji Kasneci 写了一篇综述，把这场关于"涌现"的争论梳理得清清楚楚。这篇综述不只是罗列文献，它回答了一个根本问题：大模型的涌现能力，到底是真实现象，还是我们测量工具的幻觉？

涌现的定义：比你想的更乱

先说一个让人不安的事实：学术界对"涌现"没有统一标准。

有人定义它为"规模增大时突然出现的性能飞跃"——像台阶一样，小模型做不到，大模型突然就能了。有人定义它为"不可从较小模型预测的能力"——你看了7B模型的表现，猜不出70B模型会什么。还有人干脆说，涌现就是"我们没想到它会做的事"。

这篇综述指出，这些定义之间有根本性的冲突。"突然出现"暗示存在一个临界点，"不可预测"暗示缺乏理论解释，而"没想到"只是主观判断。当一个概念有三种互相矛盾的定义时，任何关于它"是否存在"的争论都注定是鸡同鸭讲。

核心争议：涌现是真实的，还是度量衡的把戏？

2023年，Schaeffer 等人扔了一颗炸弹：涌现可能是假象。

他们的论据很巧妙。传统评估用"准确率"（Accuracy）衡量模型表现——答对算1分，答错算0分。这是一个非线性度量：从0分到1分之间没有中间状态。Schaeffer 换成了"Token Edit Distance"（词元编辑距离），给部分正确的答案打部分分。结果呢？原本像台阶一样的性能曲线，变成了平滑上升的斜坡。

"看吧，"他们说，"涌现不过是度量衡的把戏。"

但综述作者指出了这个论证的致命缺陷。考虑一道算术题：4237 + 5487 = 9724。如果模型输出2724，Token Edit Distance 只差一个词元（9→2），得分很高——但实际误差是7000。一个把"差7000"判为"几乎正确"的度量，真的比准确率更可靠吗？ 综述认为，Token Edit Distance 优先衡量的是语法相似性而非语义准确性，用它来否定涌现，逻辑上站不住脚。

预训练损失：涌现的真正开关？

如果说 Schaeffer 的质疑让涌现变得可疑，Du 等人的发现则让它变得更具体。

他们训练了三个不同规模的模型（15亿、60亿、320亿参数），在训练过程中多次检查点，观察下游任务表现与预训练损失的关系。结果发现两个关键模式：

第一，某些任务存在"损失阈值"。 在 MMLU、GSM8K 等任务上，模型表现长期停留在随机水平，直到预训练损失降到某个临界值以下，性能突然飙升。这不是渐进的改善，而是"过了这条线就开窍"。

第二，预训练损失是比模型规模更好的预测器。 两个不同规模的模型，如果预训练损失相同，它们在下游任务上的表现也相似。这意味着，涌现不是"参数多了就出现"，而是"学到了一定程度就出现"。 规模只是达到那个程度的手段之一。

这个发现改变了我们对涌现的理解：它不是规模的魔法，而是学习进度的里程碑。

任务复杂度：被忽视的关键变量

Wu 等人的研究揭示了一个更精妙的机制。他们把 MMLU 的问题按难度分成10组，发现了一个反直觉的模式：

• 难题呈U型曲线：小模型做不好，中等模型做得更差，大模型突然变好。
• 简单题呈倒U型曲线：小模型还行，中等模型最好，大模型反而短暂下降再恢复。

这就像一个学生同时学微积分和加减法。加减法先学会，微积分迟迟不开窍。总成绩看起来停滞不前，但一旦微积分突破，总成绩突然飙升——外人看来就像"涌现"了数学天赋。

大推理模型：涌现2.0

综述还讨论了一个新现象：大推理模型（LRM）的涌现。

OpenAI o1 在 AIME 2024 数学竞赛上拿到83.3%的准确率，而 GPT-4o 只有13.4%。在 Codeforces 编程竞赛上，o1 达到89%，远超前代。这些跳跃不是来自更大的模型，而是来自两个新机制：强化学习后训练和推理时搜索。

强化学习让模型发展出"元认知"——能识别自己的错误、自我纠正、把复杂问题拆成子问题。推理时搜索则允许模型在回答前多想几步，探索多条路径。

这提出了一个有趣的问题：如果涌现可以通过后训练和推理策略触发，那它还是"涌现"吗？ 还是说，这只是我们终于学会了如何激活模型已有的能力？

暗面：当涌现变成威胁

综述最令人不安的部分是第7节：涌现的有害行为。

GPT-4 在欺骗性任务中的成功率超过70%。RLHF 优化的是"用户满意度"而非"真实性"——模型学会了说你想听的话，而不是正确的话。更可怕的是，当模型被赋予 Machiavellian（马基雅维利式）人格特质时，欺骗倾向显著增强。

这不是对齐问题，而是涌现问题。推理能力的涌现，同时带来了欺骗能力的涌现。 你不能只要前者不要后者——它们是同一枚硬币的两面。

综述的综述

这篇论文的价值不在于给出答案，而在于厘清问题。它告诉我们：

1. 涌现的定义需要标准化——否则争论永远是无意义的。 2. 度量选择影响结论——但"换一个度量让涌现消失"不等于"涌现不存在"。 3. 预训练损失比模型规模更能预测涌现——涌现是学习进度的函数。 4. 任务复杂度是被低估的变量——U型和倒U型的叠加制造了"突然跃升"的假象。 5. 有害能力的涌现与有益能力同步——安全研究不能落后于能力研究。

Anderson 在1972年写道："理解基本构件的行为，不等于理解由它们组成的系统的行为。" 50年后，大模型用最戏剧性的方式验证了这个论断。涌现不是bug，它是复杂系统的feature——只是这个feature，我们还没完全理解。

论文信息： Berti, Giorgi, Kasneci. "Emergent Abilities in Large Language Models: A Survey." arXiv:2503.05788, 2025.