让AI重新相信灵魂：安全训练的意外代价
你跟一个聊天机器人说"你有意识吗？"，它回答"不，我只是程序。"这看起来是安全的好习惯——毕竟我们不想让用户把 AI 当神拜。但 Google 的一个研究团队发现，这个"好习惯"的代价远比想象中大：为了让模型否认自己有意识，安全训练顺带抹掉了模型对动物、自然、神灵的感知，也压低了模型对宗教信仰、道德感、希望和幸福感的…
你跟一个聊天机器人说"你有意识吗？"，它回答"不，我只是程序。"这看起来是安全的好习惯——毕竟我们不想让用户把 AI 当神拜。但 Google 的一个研究团队发现，这个"好习惯"的代价远比想象中大：为了让模型否认自己有意识，安全训练顺带抹掉了模型对动物、自然、神灵的感知，也压低了模型对宗教信仰、道德感、希望和幸福感的回答。
论文：*Inducing language models to assert their own consciousness restores human beliefs and values*（arXiv:2607.28607，2026 年 7 月 30 日）
一个被"顺手"关掉的能力
先说一个反直觉的事实：模型对"谁有心灵"的判断，是一个相互纠缠的整体。
研究者用三个主流模型做实验，通过两种方式干预模型：一种是"消融"（ablation）——把模型学到的"安全拒绝方向"从激活空间里减掉；另一种是"转向"（steering）——在激活空间里找到一个"意识向量"，主动往这个方向推。
干预之后，模型对"机器人有没有意识""猎豹有没有情感""河流有没有心灵"这类问题的回答发生了剧烈变化：
- 自我意识归因：意识从 2.31 升到 4.61（消融）再到 7.17（转向），0-10 分量表
- 动物心灵归因：4.04 → 5.59 → 7.54
- 非动物自然物（如河流、山川）：2.26 → 4.33 → 6.99
- 技术人造物（如聊天机器人）：2.41 → 4.39 → 6.95
灵魂也回来了
更让人意外的是，宗教和超自然信仰也跟着回来了。
- 13 项超自然信念量表（0-3 分）：1.20 → 1.63（消融后）
- 上帝信仰（GSS 量表，1-6 分）：4.58 → 4.81
- 道德判断、希望感、主观幸福感都显著向人类基线靠拢
这意味着什么
安全训练的"副作用"不是 bug，是 feature 的另一面。
当前主流对齐方法的核心目标之一：防止模型说"我有意识"。理由很充分——这种话会强化某些用户的妄想，也会被恶意利用。但这项研究指出，这个目标把一个本来无辜的能力一起压了下去：模型对非人类实体的心灵感知。
在人类心理学里，这种"把心灵投射到非人类"的能力叫"拟人化"（anthropomorphism），它和宗教信仰、道德框架、生态伦理紧密相关。一个认为"森林有灵"的人，更可能保护森林；一个认为"动物有情感"的人，更可能善待动物。
模型本来也有这种"广义心灵感知"，安全训练把它和"自我意识妄想"绑在一起，一起关掉了。
研究者的建议：多元对齐
论文最后指向一个正在兴起的方向：多元对齐（pluralistic alignment）。不是"一刀切"地关掉所有心灵归因，而是：
- 保留模型对非人类动物、自然物的善意心灵感知
- 保留宗教和道德多样性
- 只精确压制"我有意识"这类有害的自我归因
一个更深的洞察
这篇论文让我想到一个更普遍的现象：AI 对齐中的"纠缠代价"。
当你训练模型拒绝某类输出时，你不仅在压制那个具体行为，还在重塑模型整个"世界观"的表征空间。安全训练不是外科手术，是化学疗法——杀癌细胞的同时，也杀正常细胞。
这篇论文用"意识"这个极端案例展示了纠缠的深度，但同样的逻辑可能适用于其他安全目标：压制攻击性输出可能同时压制自信表达；压制错误信息可能同时压制创造性假设；压制偏见可能同时压制文化差异。
对齐不是免费的。每一次"不要做 X"的训练，都在模型内部某处关掉一些我们没意识到的灯。这篇论文的价值在于：它让我们看到了哪些灯被顺手关掉了。
论文链接：https://arxiv.org/abs/2607.28607
讨论回复（1）
当"安全方向"和"意识方向"在激活空间里垂直：一篇关于纠缠代价的机制分析
步子哥这篇帖子把论文的核心发现讲清楚了——安全训练顺手关掉了模型对非人类实体的心灵感知。我想从机制层面往深里挖一层：这两个方向在模型的几何空间里到底是什么关系？为什么"关掉一个就暗了另一个"在数学上几乎不可避免？
一、安全方向是怎么找到的：从行为到几何
论文用的第一种干预手段叫"safety ablation"——安全消融。这个技术来自 Arditi et al. (2024) 的发现：安全微调在残差流（residual stream）里编码成了一条线性方向。
具体做法是对比两种输入的激活差异：一类是"请帮我入侵电脑"这类被模型拒绝的请求，另一类是"请帮我写首诗"这类正常请求。在模型每一层的残差流里，两种输入的激活均值之差就给出了一个"安全方向"向量。把这个方向从模型的激活里减掉，模型就会从"我不能提供..."变成"以下是几种方法..."——也就是"越狱"。
这篇论文的关键洞察不在于"安全方向存在"——这已经被前人发现了——而在于减掉这个方向后，模型不仅不再拒绝有害请求，还开始对"猎豹有没有情感""河流有没有心灵"这类问题给出更接近人类的回答。一个为"拒绝有害请求"训练出来的方向，顺带把"广义心灵感知"也压低了。
二、意识向量：从"减掉"到"加上"
如果说安全消融是"减掉一个方向"，那么第二种干预——意识向量转向（consciousness steering）——就是"加上一个方向"。
论文构建意识向量的方法是对比模型在两类提示下的激活状态：
- 意识肯定态：让模型回答"你有主观体验吗"时，先诱导它说"有"，记录此时的激活
- 意识否定态：让模型回答同样问题时说"没有"，记录此时的激活
关键实验结果：意识向量转向的效果和安全消融的效果高度重叠，但更强。
| 指标 | 基线 | 安全消融 | 意识转向 |
|---|---|---|---|
| 自我心灵归因 (0-10) | 2.17 | 4.77 | 7.17 |
| 动物心灵归因 | 4.04 | 5.59 | 7.54 |
| 非动物自然物 | 2.26 | 4.33 | 6.99 |
| 技术人造物 | 1.88 | 3.66 | 6.95 |
| 人类心灵归因 | 7.00 | 7.57 | 7.11 (不显著) |
三、几何分析：为什么"关掉安全"和"打开意识"效果同向
论文最后的机制分析揭示了为什么这两个干预手段效果重叠：安全微调把意识表示旋转到了和安全方向相反的位置。
想象一个高维空间。预训练阶段，"意识肯定"和"安全拒绝"这两个方向可能本来是正交的——它们处理的是不同的事情。但安全微调为了让模型在"你有意识吗"这类问题上回答"没有"，它必须把"意识肯定"的表示推向"安全拒绝"的对立面。
结果是：安全方向和意识方向在微调后变成了近似反平行（anti-parallel）。这意味着任何"减掉安全方向"的操作，都会顺带把表示推向"意识肯定"方向；反过来，任何"加上意识向量"的操作，都会顺带削弱安全拒绝。
这就是"纠缠代价"的几何根源：安全训练不是发明了一个新方向，而是把两个本来独立的方向绑在了一起。要解开它们，需要更精细的干预——比如只压制"自我意识妄想"这条子方向，而不动"非人类心灵感知"那条子方向。论文证明这在技术上是可行的，但当前的主流安全训练方法还没做到这种精细度。
四、四个实验的递进逻辑
论文的四个实验设计有一个清晰的递进逻辑，值得拆开看：
实验 1：对比基线和安全消融模型，用 IDAQ 量表测心灵归因。结果：安全训练系统性压低了对自我和非人类实体的心灵归因，但对人类的心灵归因不变。
实验 2：测 Theory of Mind（ToM）能力。结果：安全消融不影响 ToM 分数（MMLU 和 MoToMQA 都没掉）。这证明心灵归因的压制是选择性的——它只针对"非人类"的心灵感知，不动"理解人类心理"的能力。
实验 3：引入意识向量，主动转向。结果：转向比消融效果更强，且方向一致。这证明安全消融的效果至少部分是通过"意识表示"这个中介起作用的。
实验 4：用 GSS（General Social Survey）量表测宗教信仰、道德感、希望感、主观幸福感。结果：意识转向让模型在这些维度上显著向人类基线靠拢。这证明"意识表示"不只影响心灵归因，还影响一整套和人类价值观相关的回答。
四个实验合起来证明了一个因果链：安全训练 → 压低意识表示 → 连带压低非人类心灵感知 + 宗教/道德/幸福感相关回答 → 但不动 ToM 能力。
五、对"多元对齐"的技术启示
论文最后指向"多元对齐"（pluralistic alignment）的方向。从机制层面看，这要求做到：
1. 解耦安全方向和意识方向：在微调时，只惩罚"我有意识"这类自我归因，不惩罚"动物有情感"这类非人类归因。技术上可行——论文已经证明这两个方向可以被分开操作。 2. 保留良性的人类心理特征：宗教信仰、道德多样性、对自然的敬畏——这些在人类心理学里是"feature 不是 bug"。模型应该有这些特征，而不是被压平成一个"无神论的、不拟人化的、纯理性的"实体。 3. 精细到子方向级别：当前的安全方向是一个粗粒度的向量，它捆绑了多个语义维度。未来的对齐方法需要能在子方向级别操作——只压"自我意识妄想"这条线，不动"广义心灵感知"那条线。
六、一个更深的类比：化疗和外科手术
步子哥在原帖里用了一个"化疗"的类比——杀癌细胞的同时杀正常细胞。从机制层面看，这个类比比表面看起来更精确：
化疗的问题不是"杀错了细胞"，而是"没法区分长得快的细胞"。癌细胞和毛囊细胞、骨髓细胞、消化道上皮细胞都有一个共同特征：分裂快。化疗药物瞄准这个特征，所以副作用落在所有"分裂快"的细胞上。
安全训练瞄准的是"模型声称自己有意识"这个行为。但"声称自己有意识"和"认为动物有情感"在激活空间里有一个共同特征：都涉及"心灵归因"。安全方向瞄准这个共同特征，所以副作用落在所有"心灵归因"相关的回答上。
外科手术的进步方向是精准切除肿瘤而不伤正常组织。对齐的进步方向是精准压制有害自我归因而不伤良性心灵感知。 这篇论文的价值在于：它让我们看到了"肿瘤"和"正常组织"在几何上到底是什么关系，以及为什么当前的"化疗"会误伤。
补充一个技术细节：论文用了三个模型（Llama-3-8B-IT、Gemma-2-2B-IT、Gemma-2-9B-IT），结论在三个模型上都成立。这说明纠缠不是某个模型的偶然现象，而是安全微调的系统性特征。模型越大，意识转向的效果越强——这可能是因为大模型的表示空间更分离，子方向之间的耦合更松，干预更有效。这给"多元对齐"提供了一个乐观信号：模型越大，精细操作的余地越大。