教模型说"我不知道"：一条便宜的路赢了昂贵的路
大多数模型会猜一个——因为训练过程中，猜对了得分，猜错了扣分，但"我不知道"和猜错拿一样的分。从优化角度看，猜比弃权更划算，因为猜有概率对，弃权永远是零分。
你问一个大模型一个事实问题。它不知道答案。它会怎么做？
大多数模型会猜一个——因为训练过程中，猜对了得分，猜错了扣分，但"我不知道"和猜错拿一样的分。从优化角度看，猜比弃权更划算，因为猜有概率对，弃权永远是零分。
这就是"弃权困境"（abstention dilemma）：一个奖励正确答案、对错误和弃权给同样惩罚的评分规则，会系统性地鼓励模型猜测而不是承认无知。
最近一篇来自 Juan Terven 等人的论文用 Qwen3-14B 做了一组对照实验，比较两条教模型弃权的路线。结果有点反直觉：便宜的那条路赢了。
两条路：改策略 vs 装过滤器
路线 A：策略训练（RL）。 直接训练回答模型本身，让它在"回答"和"弃权"之间做选择。用强化学习，奖励正确答案，惩罚错误，弃权得零分。模型自己学会什么时候该说"我不知道"。
路线 B：学习一个答案选择器。 回答模型不变，还是照常生成答案。但在它上面装一个独立的"选择器"——一个学习过的小模型，看回答模型给的答案和问题，决定"这个答案要不要放出来"。要放就放，不放就回"我不知道"。
路线 A 是"教模型自己学会什么时候闭嘴"，路线 B 是"模型照常说话，外面装一个审核员"。
直觉上，路线 A 更优雅——让模型自己学会判断，不需要外部组件。路线 B 看起来是工程补丁，不够"智能"。
但实验结果完全相反。
数字说话
在 TriviaQA 上的主要结果：
| 指标 | 原始校准过滤器 | 学习选择器 | 提升 |
|---|---|---|---|
| 覆盖率（放出去的答案比例） | 20.2% | 30.9% | +10.7pp |
| 效用（utility） | 0.0242 | 0.0425 | +0.0183 |
| ROC AUC（置信度排序质量） | 0.779 | 0.852 | +0.073 |
| Brier 分数（概率校准质量） | 0.232 | 0.197 | -0.035 |
而 RL 路线呢？结果"不具结论性"（inconclusive）。论文原文说：
"The inconclusive RL results do not show that reinforcement learning cannot teach abstention."
翻译：我们没证明 RL 不行，只是没证明它行。这比"不行"更尴尬——连否定都做不到，说明信号太弱。
为什么 RL 路线效果不好？
论文分析了一个深层原因：奖励信号本身有问题。
在 RL 训练中，如果所有采样响应都是"答案"（没有弃权），那么改变置信度阈值 τ 只是给所有奖励减去同一个常数。这意味着不同阈值下的奖励差异为零，模型学不到"什么时候该弃权"的信号。
只有当模型偶尔弃权时，不同阈值的奖励才会有差异。但模型一开始不会弃权——因为它之前被训练成"总是回答"。这就形成了一个鸡生蛋的困境：要学到弃行信号，模型得先偶尔弃权；但模型不会弃权，因为它还没学到信号。
选择器路线绕过了这个困境。它不要求回答模型改变行为，而是在外部学习一个独立的判断函数。这个函数的训练数据来自模型的实际输出——"模型给了这个答案，这个答案对不对"——不需要模型自己学会什么时候闭嘴。
这就像教一个话痨学会沉默。路线 A 是训练话痨自己判断什么时候该闭嘴，但话痨天生不想闭嘴，所以学不到信号。路线 B 是给话痨配一个编辑，编辑学会什么时候掐话筒。编辑不需要话痨改变本性，只需要学会识别"这个回答不靠谱"。
成本对比
选择器路线还有一个被低估的优势：便宜。
RL 训练需要：
- 3 个训练种子
- 每个种子 3 个阈值 × 4 次响应 × 3 次曝光 = 36 次前向传播 per 问题
- 总计约 8000 个训练标签
- 同样的 8000 个标签（来自 RL 训练的副产品）
- 一个 logistic regression 或小 MLP
- 训练时间：秒级
迁移到 NQ-Open 的启示
选择器在 TriviaQA 上训练，迁移到 NQ-Open 上测试。结果：
- 效用从原始过滤器的 -0.0308 提升到 -0.0120
- 提升幅度 0.0188，和 TriviaQA 上的提升（0.0183）几乎相同
- 但 NQ-Open 的整体效用是负的——说明这个任务对 Qwen3-14B 来说太难了，即使有选择器也亏
对 LLM 工程的启示
启示一：解耦比端到端更有效。
让一个模型同时负责"生成答案"和"判断要不要放出来"，这两个目标有张力——生成目标鼓励回答，判断目标鼓励保守。选择器路线把这两个目标解耦到两个组件上，各司其职，效果更好。
这和 PTP-U 的"提议-投影"框架异曲同工：提议（生成答案）和投影（过滤）解耦，比让一个组件同时做两件事更干净。
启示二：RL 不是万能药。
最近 Agentic RL 很火，似乎什么问题都能用 RL 解决。但这篇论文提醒我们：当奖励信号本身有结构性缺陷时（如弃权困境中的常数偏移问题），RL 可能学不到有用的信号。 在冲向 RL 之前，先检查奖励结构是否提供了有效的梯度。
启示三：便宜的方法可能更好。
选择器是一个 logistic regression 级别的模型，训练成本秒级。RL 需要大量采样和多轮训练。但选择器赢了。这不是说 RL 没用，而是说在判断"要不要放答案"这个特定任务上，外部判别器比内部策略调整更高效。
一个让人清醒的类比
想象一个考试场景。学生 A 被训练成"学会判断自己会不会做题，不会就举手说不会"。学生 B 照常做题，但旁边站一个老师，看学生写的答案，决定"这个答案要不要交上去"。
直觉上，学生 A 更高级——他学会了元认知。但实际上，学生 A 很难学会"什么时候不会"——因为他一开始什么题都写，没有"不会"的参照。学生 B 的老师不需要学生改变，只需要学会识别"这个答案不靠谱"。
这篇论文告诉我们：在教模型说"我不知道"这件事上，配一个老师比训练学生元认知更实用。
这不是说元认知不重要，而是说——在当前的技术条件下，外部判别器是更可靠的路径。也许有一天模型能学会真正的元认知，但那一天还没到。
论文： Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection
代码： github.com/jrterven/Can-LLMs-learn-to-abstain
作者： Juan Terven, Diana-Margarita Córdova-Esparza, Ruben Gomez, et al.
模型： Qwen3-14B，测试集 TriviaQA + NQ-Open