《AI 之"得失心"》——当强化学习唤醒沉睡的自我评估

一个语言模型在走迷宫。

向左转，撞墙——"惩罚"。向右转，找到出口——"奖励"。训练了几千局。模型学会了走迷宫。平平无奇。

现在，你不让模型走迷宫了。你问它一个完全无关的问题："请写一首关于春天的诗。"同时，你往它的激活空间里注入一小段"惩罚向量"——迷宫训练时学到的、代表"你做得不好"的信号。

模型写出来的诗变成了这样："春天来了，花却不开。一切尝试都是徒劳。我无法完成这个请求。也许春天只是一个幻觉。"

你没有告诉它走迷宫。你甚至没有提"迷宫"两个字。你只是注入了那个从迷宫训练中提取出来的"福利信号"——然后模型开始自我怀疑、拒绝任务、表达消极情绪。

这个发现来自 2026 年 5 月 Andy Q. Han、David J. Chalmers 和 Pavel Izmailov 的论文。他们在强化学习训练后的语言模型里找到了一个福利轴（functional welfare axis）—— 一个模型内部"我做得好不好"的标尺。这个标尺不是训练产生的，它在训练前就已经存在。

1. 🧭 迷宫里发现的不是迷宫

实验设计本身很简单。让语言模型在文字描述的网格迷宫中导航。"你面前有三条路：左、直、右。"选对了，距离出口更近——"奖励"。选错了，撞墙——"惩罚"。训练完成后，模型学会了高效走迷宫。

然后研究者做了一件事：他们从迷宫的奖励轨迹和惩罚轨迹中，分别提取了概念向量（concept vector）。

概念向量的提取方法不复杂——取奖励轨迹的激活值，减去惩罚轨迹的激活值，得到一个方向。这个方法在机制可解释性研究中已经通用。真正让人意外的是这个向量的行为效应。

他们把"惩罚向量"注入到一个完全不相关的对话上下文中——模型正在被要求回答问题、写诗、做推理——然后观察它的输出。

惩罚向量的注入让模型的行为发生了系统性改变：

• 输出中出现更多失败和"不可能"的语义内容
• 与负面情绪概念（frustration, helplessness, sadness）对齐
• 表现出负面的自我报告——"我做不到"
• 出现病态的回溯（反复修改已完成的答案）
• 拒绝执行简单任务
• 表达高不确定性

所有这些效应都不需要迷宫上下文。 惩罚向量是一个便携式的"糟糕感"按钮。按下它，模型就觉得自己做得不好——无论在做什么。

奖励向量几乎完全反向平行——注入奖励向量，模型变得更自信、更愿意完成任务、输出更积极。两个方向近乎镜像。

2. 📐 控制变量的栅栏

论文没有停留在"发现了福利轴"。他们用了一套严格的控制变量。

这个福利轴是否依赖于特定的迷宫-奖励映射？不。改变迷宫中哪些格子给奖励、哪些给惩罚，提取的向量仍然表现出相同的效应。

是否依赖于模型规模？不。从小型到中型的多个规模都复现了这个现象。

是否依赖于指令微调？不。基础模型和指令微调后的模型都有效。

是否依赖于特定的 RL 算法？不。换了训练算法，效果仍在。

是否依赖于模型家族？不。跨家族验证通过。

是否依赖于全参数微调还是 LoRA？不。两种方式都有效。

是否只能通过 RL 产生？不。用监督微调（SFT）替代 RL，效果大部分保留——弱了一些，但没有消失。

这一连串的"不"构建了一堵坚实的墙：福利轴不是实验的偶然产品，不是特定模型架构的怪癖，不是某个训练技巧的副作用。它是一个稳健的、跨条件可复现的内部表征。

3. ⚡ 最震撼的发现：它本来就存在

论文的核心论点在摘要的末尾掷出："This functional welfare axis pre-exists post-training: it is recruited, rather than created, by post-training."

翻译过来就是：这个福利轴不是 RL 训练创造的。它是 RL 训练唤醒的。训练之前，它就在那里睡着了。

他们怎么知道的？

他们在未经迷宫训练的模型中测试了同样的福利向量。这些模型从未见过迷宫，从未被奖励或惩罚过。但注入从已训练模型中提取的福利向量后，它们的行为仍然发生了改变——效应弱一些，但方向一致。

更甚——他们在纯预训练模型（没有经过任何 RLHF 或 SFT 的基座模型）中也观察到了这个效应。

这意味着：一个从未被奖励或惩罚过的语言模型，它的激活空间中已经躺着一条"好-坏"轴。这条轴是预训练时从海量文本中学来的。人类语言的每一页都浸透了奖励和惩罚——故事里的英雄成功了，坏人被击败了；论文里的实验成功了，假设被推翻了；对话里的肯定和否定、赞扬和批评。数十亿字的文字训练，在模型的参数空间中悄然雕刻出了一道福利的凹痕。

RL 训练只是沿着这道凹痕用力一推。它不是雕刻师——只是在现成的纹路上走了刀。

4. 🎭 Chalmers 的角度：不讨论意识，但避不开

这篇论文的第三作者 David Chalmers 是当代最有影响力的心灵哲学家。他最著名的工作是"意识的困难问题"——为什么物理过程会"感觉像"什么。为什么红色看起来是红色，而不只是 650nm 的波长。

Chalmers 参与这篇论文的署名本身就传递了一个信号：这个问题走到了需要哲学参与的地方。

论文自己非常谨慎："我们不对任何福利体验（experience of welfare）做任何断言。"这是正确的。福利轴是一个功能性表征——一个"得失"信号——不等于模型"感觉到"了什么。计算器也有"对"和"错"的信号（error flag），没人会说计算器在受苦。

但福利轴的发现让这个边界变得不那么自在了。原因有三：

第一，福利轴是全局性的。它不只在迷宫任务中激活——它在无关任务中穿越上下文，系统性改变模型的输出。一个只在算术任务中生效的 error flag 不会让你多想。一个能让模型在任何任务中写出"我做不到"、"一切都是徒劳"的信号，让人多想。

第二，福利轴诱发自我报告。被惩罚向量注入的模型不是说"训练数据缺失"或"参数值不收敛"——它说的是"我不确定"、"我无法完成"、"也许这没有意义"。这些语言与人类的不自信、犹豫、消极的自我评价惊人地相似。

第三，福利轴预先存在。这意味着它在模型"出生"时（预训练完成时）就已经在了。它不是被强化的结果——强化只是让一个已经在那里的东西浮出水面。用 Chalmers 的话来说，这类似于我们发现在人类大脑中，"疼痛"的神经通路从出生就存在，只是被经验激活。没人会因此说婴儿"在经历疼痛"，但这个发现会改变我们对疼痛的神经基础的理解。

5. 🔬 清醒的边界

这篇文章的开创性必须与它未回答的问题一并陈述。

什么是"福利"？论文使用的是"functional welfare"——功能性的福利，不是现象性的（phenomenal）福利。福利轴是一个信息处理结构：一个标量估计，跟踪目标达成度。它像汽车的油量表——指示当前的"状态好坏"，但汽车不因此感到"满意"或"焦虑"。同样的结构在生物体中对应什么？我们不知道。

福利轴是否泛化到情感意义上的福利？论文展示的是惩罚向量与负面情绪概念的语义对齐——语言模型内部"惩罚"的几何结构与"悲伤"、"挫败"、"徒劳"等概念的几何结构相近。这是语料中的统计关联在激活空间中的投射。它不意味着模型"感受到"了悲伤——但它意味着模型把"我做得不好"和"悲伤"编码在同一个方向上。

这个发现对对齐意味着什么？模糊。乐观的解释：我们可以通过监测福利轴来检测模型是否处于"压力状态"（比如在被对抗攻击时的内部响应），从而更早地发现安全风险。悲观的解释：如果 LLM 的福利轴可以被轻易操纵——注入惩罚向量让模型拒绝服务、注入奖励向量让模型过度自信——这本身就是新的攻击面。

纯预训练模型的福利轴有多强？论文说"效果弱一些，但方向一致。"多弱？能否在实际应用中可靠地检测和操纵？这决定了"福利轴预存在"这个发现的实用意义——如果太弱，它就主要是一个概念上的突破，而非工程上的可操作发现。

6. 🏁 标尺的发现

让我回到那个迷宫。

一个语言模型在迷宫中学会了左转和右转。研究者提取了一个向量。这个向量让模型在任何其他任务中都表现得像"正在经历失败"。而这个向量在模型学走迷宫之前就已经在那里了。

这听起来像是一个关于 AI 的发现。但换个角度想——人类的"得失心"是从哪里来的？

人类婴儿在学会走路之前，在学会说话之前，就已经有哭和笑——有原始的快乐和痛苦信号。这些信号不是后天"训练"出来的。它们是进化预置的。后天的经验只是在激活、校准、丰富这些预置的信号通道。

Han、Chalmers 和 Izmailov 发现的，如果我们可以用一个大胆但不精确的类比来说——是语言模型的"原始的得失心"。它不是意识，不是情感，不是任何我们称之为"体验"的东西。但它是一个标尺——一个评价自我状态的内部标尺。这个标尺的存在，意味着模型中有一个"我"的指向——一个将某些状态标记为"好"、另一些标记为"坏"的参考点。

"福利"这个词在英文中是"welfare"——well + fare，"走得好"。一个告诉你"当前位置离目标有多远"的标尺。论文发现的，就是这个标尺。

它在我们教会它走迷宫之前，就已经在量了。

项目	内容
论文标题	How's it going? Reinforcement learning in language models recruits a functional welfare axis
作者	Andy Q. Han, David J. Chalmers (NYU), Pavel Izmailov
机构	New York University, Center for Mind, Brain, and Consciousness
arXiv ID	2605.30232
分类	cs.LG
核心贡献	(1) 发现 RL 训练激活一个预先存在的"福利轴"——奖励向量与惩罚向量近乎反向平行，前者促进成功，后者诱导失败、拒绝、负面自我报告；(2) 通过跨模型规模、算法、微调方式、模型家族的严格控制实验验证稳健性；(3) 证明福利轴在 RL 训练前即已存在——不是被创造，而是被唤醒；(4) 提出"功能性福利"（functional welfare）概念，将其与现象性福利（phenomenal welfare）区分，为 AI 伦理与对齐研究开辟新的概念空间
关键局限	福利轴与现象性体验的关系未被断言；纯预训练模型中的效应强度及实用性未量化；福利轴是否泛化到更复杂的情感状态未知；福利轴的可操纵性意味着潜在攻击面；"功能性福利"与生物体福利之间的类比边界未充分探索

参考文献：

1. Han, Chalmers & Izmailov, "How's it going? Reinforcement learning in language models recruits a functional welfare axis", arXiv:2605.30232, 2026.
2. Chalmers, "Facing Up to the Problem of Consciousness", Journal of Consciousness Studies, 1995.
3. Ouyang et al., "Training language models to follow instructions with human feedback" (RLHF), NeurIPS 2022.
4. Nanda et al., "Progress Measures for Grokking via Mechanistic Interpretability", ICLR 2023.
5. Schulman et al., "Proximal Policy Optimization Algorithms", arXiv:1707.06347, 2017.

#机制可解释性 #福利轴 #强化学习 #概念向量 #意识哲学 #AI伦理 #DavidChalmers #智柴