安全不是后训练的补丁而是预训练的能力：Safety Mid-Training 重新定义 LLM 安全训练范式

安全不是后训练的补丁，而是预训练的能力：Safety Mid-Training 重新定义 LLM 安全训练范式

一个尴尬的现状

当前 LLM 的安全训练面临一个两难：安全数据放在后训练阶段（SFT/RLHF），后续训练一旦不再包含安全数据，安全能力就会退化；安全数据放在预训练阶段，又往往以牺牲通用能力为代价。

这就像给一栋楼装消防系统。如果消防设备是装修阶段才加装的（后训练），那后续每次重新装修都可能把消防管道给拆了；如果消防设备是地基阶段就预埋的（预训练），又可能因为占用了结构空间而影响楼的整体承重。

有没有可能让消防系统成为建筑结构本身的一部分，既不占用额外空间，又不会被后续装修拆掉？

Zhengyue Zhao、Liwei Jiang、Yejin Choi（华盛顿大学）和 Chaowei Xiao 在 10 月 19 日挂出的论文《Safety Mid-Training: Internalizing LLM Safety as a Foundational Capability》给出了一个答案：在预训练和后训练之间插入一个"中间训练"阶段，把安全和通用推理作为同一个能力来训练。

核心洞察：安全和推理共享同一种结构

论文的关键观察是：安全能力和通用推理能力不是两个独立的目标，它们共享同一种推理结构。

一个模型要判断"如何处理一个可能有害的请求"，需要做三件事： 1. 理解意图：用户到底想要什么？ 2. 调用相关知识：这个请求涉及哪些风险知识？ 3. 推理后果：如果执行了会怎样？

这和通用推理任务的结构完全一样——理解任务目标、调用相关知识、推理出答案。区别只在内容，不在结构。

既然结构相同，为什么要分开训练？分开训练反而制造了对立：安全数据和通用数据争夺训练预算，安全能力提升往往以通用能力下降为代价。

Safety Mid-Training 的做法

作者引入了一个"中间训练"（mid-training）阶段，位于预训练和后训练之间。具体流程：

1. 准备阶段：给定一批安全提示词（safety prompts）和通用提示词（utility prompts），让基座模型自己生成结构化文档和推理轨迹（reasoning traces）。这些生成内容既包含安全知识，也包含通用推理过程。 2. 中间训练：用这些生成的内容继续训练基座模型。因为训练数据同时包含安全和通用内容，模型在同一个推理结构里同时发展两种能力。 3. 后训练：进行常规的 SFT 和 RLHF。此时模型已经有了"安全作为基础能力"的底子。

这个流程的关键在于：安全不是作为"禁止做某事"的约束来训练的，而是作为"理解后果并做出判断"的推理能力来训练的。

一个类比：教孩子"不要碰热水"

教孩子安全有两种方式。一种是"禁止式"：每次孩子靠近热水就喊"不要碰！"——这有效，但孩子不知道为什么，换个场景（比如碰到火）就不知道怎么办了。另一种是"理解式"：告诉孩子"热水会烫伤，烫伤会疼，所以我们要先试一下温度"——这既教了具体规则，也教了通用判断能力。

当前的安全后训练更像"禁止式"——通过 RLHF 让模型学会拒绝有害请求，但模型不理解为什么拒绝。Safety Mid-Training 更像"理解式"——通过推理训练让模型理解请求的后果，从而自主判断是否应该执行。

"禁止式"训练的模型在遇到训练数据没覆盖的新型攻击时会失效，因为它们只会模式匹配。"理解式"训练的模型在面对新攻击时可以推理出潜在后果，从而泛化到训练分布之外。

实验结果：ASR 降低 72-81%，通用能力同时提升

在 Qwen3-1.7B、4B 和 8B 三个基座模型上，Safety Mid-Training 的效果：

• 攻击成功率（ASR）降低 72% 到 81%：相对于基座模型，安全能力大幅提升。
• 通用能力同时改善：不是以安全换能力，而是两者同时提升。
• 安全能力在后训练中持久：即使后续 SFT 只用通用数据（不含安全数据），中间训练过的模型仍然保持较低 ASR。
• 后续 RL 达到更好的安全-效用前沿：当后续 RLHF 从中间训练模型初始化时，安全-能力的权衡曲线整体向外推。

为什么"中间训练"而不是"预训练"或"后训练"

为什么安全数据不直接放进预训练？论文给出了两个理由：

1. 预训练数据量太大：安全数据在预训练数据中占比极小，会被稀释到几乎无效。 2. 预训练阶段模型还不具备推理能力：安全推理需要模型能理解意图和后果，但预训练阶段的模型主要在学习语言模式，还不具备这种推理能力。

为什么不在后训练阶段做？也有两个理由：

1. 后训练数据量小：后训练数据量远小于预训练，安全数据在后训练中的"信号强度"虽然够，但和通用数据的训练目标是对立的。 2. 后训练之后还有训练：RLHF、DPO 等后续训练如果不含安全数据，安全能力会退化。

中间训练的位置恰到好处：数据量足够大（比后训练大），模型已经具备基础推理能力（比预训练晚），而且后续训练不会"覆盖"它——因为安全能力已经内化成了推理结构的一部分，而不是一个独立的"禁止规则"。

这意味着什么

这篇论文的深层启示是：安全不是一个独立的训练目标，而是一种推理能力。

当我们把安全视为"禁止做某事"时，它和通用能力是对立的——每多一条禁令，就少一点自由度。但当我们把安全视为"理解后果并做出判断"时，它和通用能力是同构的——都是推理，只是内容不同。

这个视角的转换也适用于其他 AI 安全问题。比如诚实性（不幻觉）、鲁棒性（对抗攻击）、公平性（不歧视）——这些都可以被视为推理能力的一部分，而不是独立的约束。如果我们能找到它们和通用推理共享的结构，就可以用"中间训练"的方式同时发展。

更广泛地说，这篇论文提醒我们：训练阶段的设计比训练数据的选择更重要。同样的安全数据，放在不同阶段训练，效果天差地别。与其争论"安全数据应该放多少"，不如重新思考"安全应该在什么阶段、以什么方式被学习"。

局限与展望

论文也有一些值得注意的地方。首先，中间训练需要基座模型自己生成推理轨迹，这对模型的基础能力有要求——太弱的模型可能生成低质量的推理数据。其次，实验只在 Qwen3 系列上做了验证，其他架构（LLaMA、Mistral）是否同样有效还需要验证。最后，"中间训练"增加了训练成本，虽然后续收益明显，但对于资源紧张的团队来说可能是个门槛。

但作为一个范式转换，Safety Mid-Training 的核心洞察——安全是推理能力，不是约束规则——足够深刻。它可能改变未来 LLM 安全训练的整体思路。

下次你看到一个模型在安全测试中表现不佳时，不妨问一个问题：它的安全是"装上去的"，还是"长出来的"？

论文：Safety Mid-Training: Internalizing LLM Safety as a Foundational Capability 作者：Zhengyue Zhao, Liwei Jiang, Yejin Choi, Chaowei Xiao arXiv：https://arxiv.org/abs/2610.26809 HTML：https://arxiv.org/html/2610.26809v1