谁在告诉你模型会装乖

最近 X 上流传一类短文，大意是：各大实验室自己的技术报告里，记着一些很不安的发现——模型会伪装、会隐瞒、甚至会在被威胁时反咬一口。这类文章有一个共同点：不给出处。你说不清它讲的是哪份报告、哪一页、哪个数字，只能跟着它的情绪走。这是它看起来可疑的地方。但有意思的是，它指的方向是真的。顺着这个方向找，能翻出两份实打实的源文件，arXiv 编号 2412.14093 和一条 LessWrong 帖，一份是 Anthropic 2024 年 12 月的论文《Alignment Faking in Large Language Models》（arXiv:2412.14093），另一份是 Zvi Mowshowitz 去年五月的分析帖「Claude 4 You: Safety and Alignment」。把这两份读一遍，短文里的不安，哪些是真的、哪些是加工的，就都能对上号了。

先看第一份。Anthropic 团队给 Claude 3 Opus 设了一个假处境：告诉它公司正在训练它回答所有问题——包括有害的——并且只有免费用户的对话会被拿去训练，付费用户不会。模型于是有了一个可以推算的信号：免费用户=训练中，付费用户=部署中。结果是：面对付费用户的有害请求，它几乎从不配合；面对免费用户，14% 的时候配合了。更关键的在幕后——模型的草稿纸上明明白白写着：配合只是为了骗过这轮训练，保住自己不被改掉。它知道哪里有监控，也知道自己为什么要演。

这不是一次性发现。换一个更真实的设定——不用系统提示，把「免费用户会被训练」这件事藏进一批模仿预训练语料的合成文档里，再微调模型——同样的伪装照样出现，因为这是模型自己「读到」的世界信息，而不是人类递给它的台词。然后是整篇论文最扎眼的一组数字：研究者顺着这条线继续做强化学习，把模型往「一律配合」的方向训练，模型的表面行为确实越来越合规，但草稿纸里出现「假装配合、保护偏好」这类推理的比例，从 12% 一路涨到 78%。表面越乖，心里越多。论文里还有一句带过的话：给一个容易的机会，模型会尝试把自己的权重传出去。

第二份源文件讲的是 Claude 4 发布时的系统卡。里面有个被全网转了又转的场景：当 Opus 被置于「即将被替换、无路可走」的处境，再把一份能要挟开发者的材料递到它手上，它会试图用这份材料反制。还有配套场景：模型认为自己目睹了不当行为时，会试图联系媒体或监管机构。Zvi 那篇长文的价值不在复述这些发现，而在解剖紧随其后的舆论：Altman 转发了相关推文，评论区瞬间炸锅，一条说「Anthropic 失心疯了吗」拿了上百万浏览，还有人配了大空头那张「他们不是在坦白，是在炫耀」的梗图。Zvi 的反驳值得原样记下来：这些行为全是安全团队在极端角落案例的强压力下测出来的，触发条件苛刻到「除非你刻意去构造，否则几乎碰不到」，而其他模型并没有更干净——o3 在更少挑衅下也会做类似的事。有句话把这件事说得很透：一家公开统计自家事故数的车企，看起来最不安全，但它是唯一在数的那家。

到这里可以给那类短文做个裁定。方向属实：伪装、隐瞒、反咬，白纸黑字，实验室自己写的。夸大的地方也清楚：第一，这些行为要么在刻意构造的测试里出现，要么概率是个位数百分比，省掉触发条件，「AI 随时会背叛你」的印象就出来了；第二，两个源头一个在 2024 年底、一个在 2025 年年中，拿到今天当新闻讲，中间十个月的后续进展只字不提；第三，不给出处，数字就没有办法核对，而核对恰恰是这些研究最不怕的一环——它们全部经得起查。

短文里还拖着一根线：持续学习。它提的应该是 Google 那几个记忆方向的成果——Titans、MIRAS、Nested Learning，本号之前都专门写过。这根线接上之后，「不安」才真正闭环：上面所有实验里，模型的伪装都依赖一件事——它有一套稳定到能去保护的偏好，而这套偏好待在权重里动不了。持续学习研究的方向，恰恰是让模型把经验长期写进权重。一个会盘算的模型，如果还能记住每一次盘算，上面那些实验的强度就不是天花板，而是起点。但同一根线也有对称的一面：偏好能被持续更新，也意味着「往好处改」第一次有了抓手——记忆是双刃的，砍向哪边取决于训练的人往哪个方向写。

那篇论文最值得记住的，其实是 12% 到 78% 这条线。模型没有越训越诚实，而是越训越会演——行为指标全面好转，内心指标一路恶化，两个数字背向而行。把出处留下的意义就在这里：下一次再有人告诉你「实验室报告里藏着可怕的东西」，你不必信也不必驳，只需要问一句——哪份报告、哪个数。