指令微调的代价：为什么 base 模型在事实回忆上反而更强

指令微调的代价：为什么 base 模型在事实回忆上反而更强

你花了几百万 GPU 小时，把一个 base 模型指令微调成了 chat 模型。它能对话、能遵循指令、能拒绝有害请求——看起来全面升级了。然后你把它送去参加知识图谱补全比赛，结果发现：同一个模型，微调前的 base 版本比微调后的 chat 版本得分高 12 个百分点。

这不是段子。这是 American University of Beirut 的 Christophe Khalil 和 Sorbonne Université 的 Aya Mourad 在 AKBC LM-KBC 2026 Shared Task 上的真实经历。他们的方案在排行榜上拿了 0.6836 分，是 baseline（0.2964）的两倍多。而核心发现就一句话：指令微调会损害事实回忆能力，他们称之为"指令税"（instruction tax）。

什么是 LM-KBC 任务

任务很简单：给你一个 (主体, 关系) 对，你要生成所有可能的客体。比如：

• (Taylor Swift, awardWonBy) → ?

答案：所有获得过 Taylor Swift 相关奖项的人

• (Albert Einstein, placeOfDeath) → ?

答案：Princeton, New Jersey, USA

约束条件：模型不超过 32B 参数，不能用检索，不能微调。纯靠模型自己的参数知识。

反直觉的发现

团队最初的想法很自然：用最强的指令微调模型，用 chat 接口问它。gemma-3-27b-it 的 chat 接口拿了 0.5681。

然后他们试了 base 模型（gemma-3-27b-pt），用 text completion 接口（不是 chat），结果拿了 0.6836。

同一个模型权重，微调前比微调后高 12 个百分点。这不是噪声——四种模型家族的对比数据如下：

注意：这里的分数不是最终 F1，而是"采样上限"（sampling ceiling）——即模型在 256 次采样中能覆盖到的正确答案比例。gemma-3-27b 的 base 版本采样上限 0.880，instruct 版本只有 0.590——指令微调把采样上限砍了 29 个百分点。

论文把这个现象叫 "指令税"（instruction tax）：指令微调让模型学会了对话、遵循指令、拒绝有害请求，但代价是损失了一部分事实回忆能力。而且这个税不是通过 prompt engineering 能退回来的——它是权重层面的改变，不是 prompting 方法的改变。

为什么指令微调会损害事实回忆

论文没有深入分析原因（这篇是 shared task 报告，不是机理研究），但从结果可以推断：

指令微调改变了模型的输出分布。 Base 模型在 completion 模式下，给定前缀"Taylor Swift, awardWonBy →"，会继续生成最可能的事实。这些事实在预训练数据中见过无数次，概率很高。

但指令微调教会了模型"对话"——它不再是在"续写"，而是在"回答问题"。回答问题的分布和续写事实的分布不同：模型会加修饰语、会犹豫、会说"我不确定"、会给出部分答案。这些行为在对话中有用，但在需要穷举所有可能答案的任务中，会漏掉正确答案。

简单说：指令微调让模型从"知道什么说什么"变成了"觉得该说什么说什么"。

方法：不问一次，问 256 次

既然 base 模型更强，为什么不在所有任务上用 base 模型？问题是 base 模型不会遵循指令——你不能用 chat 模板让它输出 JSON 或遵循格式。

团队的解法很务实：

1. 用 base 模型 + completion 接口：给它几个训练集的例子作为前缀，让它续写。 2. 每条数据采样 64-256 次：因为 base 模型的输出是概率分布，多次采样能覆盖更多可能的答案。 3. 只保留重复出现的答案：如果某个答案在 256 次采样中出现了足够多次，就保留；否则丢弃。这就是"Never ask a question. Ask many times, keep what repeats." 4. 两个特殊处理：

• 对于大答案集（如 awardWonBy），用分组策略提高召回
• 对于 placeOfDeath，先验证这个人是否已经去世（"Is the person dead or alive?"），避免给活人预测死亡地点

5. 校准阈值：每条数据的保留阈值不同，用训练集拟合

最终结果：0.6836，排行榜第一，是 baseline 的 2.3 倍。

一个类比

想象你在考试。有两种考法：

1. Chat 模式：老师问你"Taylor Swift 获得过哪些奖项？"你回答"她获得过很多格莱美奖，包括..."——你给出了一个合理的回答，但可能漏掉了具体的获奖者名单。 2. Completion 模式：老师给你看一道填空题"Taylor Swift, awardWonBy → ___"，你自动开始列举名字。没有修饰语，没有犹豫，就是纯粹的事实回忆。

指令微调让模型擅长第一种，但损害了第二种。而在需要穷举答案的任务里，第二种更有效。

"知道什么时候不答"和"知道更多"一样重要

论文还有一个有意思的发现：在这个任务里，最好的策略往往是不答。因为评分标准是 F1，答错了会扣分。base 模型 + 多次采样 + 只保留重复答案的策略，天然就是一种 abstention（弃权）——不确定的答案不会重复出现，自然就被过滤掉了。

论文结论里有一句话说得特别好："where the best answer is often empty, knowing when not to answer helps almost as much as knowing more."

我的看法

这篇论文虽然短（shared task 报告），但提出了一个很重要的概念："指令税"。我们一直默认指令微调是"升级"——base 模型是毛坯房，instruct 是精装修。但这篇论文提醒我们：精装修是有代价的，你可能丢掉了一些毛坯房才有的东西。

这和之前几篇论文的发现形成了一条线：

• "得体性 ≠ 正确性"：指令微调让模型学会了"得体"的表达方式，但得体不等于正确
• "冗余在答案之后"：推理模型的过度思考主要发生在答案出现后的验证阶段
• "指令税"：指令微调让模型学会了对话格式，但损失了事实回忆的精度

三个发现指向同一个结论：模型的行为模式和知识回忆是两个独立维度，优化前者可能损害后者。

当然，这个发现有适用范围。LM-KBC 任务的特点是"需要穷举所有可能答案"，这和大多数实际应用不同。在对话场景里，chat 模型的遵循指令能力远比事实回忆的完整性重要。但对于知识图谱构建、事实抽取、信息检索这类需要高召回率的任务，"指令税"是一个必须考虑的因素。

概念提炼

"标量幻觉"再添一例：一个模型的"能力"不是一个标量。指令微调提升了"遵循指令"维度，但损害了"事实回忆"维度。用"模型更强了"这种标量描述会隐藏这个 trade-off。

"判断-闸门解耦"再添一例：base 模型的"知道事实"（判断）和"愿意输出事实"（闸门）是两个独立机制。指令微调改的是闸门，不是判断——模型可能仍然知道事实，但不愿意在对话中输出。

---

论文：The Instruction Tax on Factual Recall: Base Models Can Beat Their Instruction-Tuned Counterparts 代码：https://github.com/aiamourad/lm-kbc-2026/