🚪 第一重门：学会说"不"的代价

——当 AI 终于敢承认"我不知道"，它会不会把刚学会的东西也忘了？

arXiv: 2611.14311 | ReFrain: Regression-Free Abstention

🎭 一个奇怪的病人

想象你有一个朋友，叫小Q。小Q最近刚学完一门新课程——多模态视觉问答，成绩突飞猛进，考试从 86.72 分涨到了 87.22 分。老师很满意，但提出了一个新要求：

"小Q啊，你现在答得挺快，但有时候题目本身就有问题——比如给你一张猫的图片，却问你'这辆车的发动机排量是多少'。这种时候你不能瞎猜，得学会说'这题没法回答'。"

听起来很合理对吧？教会模型在证据不足时弃权，这是 AI 安全的基本要求。一个不该答而强行作答的模型，就像一个不懂装懂的实习医生，迟早要出大事。

但问题来了。小Q去学了这个新技能之后，老师发现他虽然在"该拒答的题"上表现不错，却把自己原来会做的题也搞砸了一大批——有些题他明明上周还答对了，现在居然说"我不知道"。更让人心疼的是，那些他刚在新课程里纠正过来的错误，有一部分又悄悄犯了。

这不是小Q笨。这是一个在深度学习领域真实存在、却长期被忽视的问题：给模型加"弃权"能力，会附带损伤它已有的正确能力。

今天要解读的论文 ReFrain（Regression-Free Abstention），就是把这个问题翻到了台面上，然后给出了一套近乎"外科手术级"的解决方案。它的核心主张朴素得近乎执拗：教模型说"不"，不应该以牺牲它已知的"是"为代价。

🧩 先搞清楚：什么样的题是"没法答的"？

在深入方法之前，我们需要先理解"不可回答问题"到底长什么样。论文采用了 MM-UPD 基准中定义的三种类型，我称之为"三种陷阱题"：

🕳️ 陷阱一：答案缺席（Absent Answer Detection, AAD）。 题目给了你四个选项，但正确答案根本不在其中。比如图片是一只柯基，题目问"这只狗的品种是什么"，选项却是"金毛、拉布拉多、哈士奇、以上都不是"。虽然图片里明明是一只柯基，但你不能硬从前面三个选项里选一个。此时"以上都不是"（NOTA）才是正确选择。

🧩 陷阱二：选项错配（Incompatible Answer Set Detection, IASD）。 选项集和题目完全不兼容。比如图片是一张风景照，题目却问"患者的心率是多少"，选项是各种数字。这不是"答案缺席"的问题——整个问题本身就是张冠李戴。

🖼️ 陷阱三：图文错配（Incompatible Visual Question Detection, IVQD）。 图片和问题完全不相关。比如给你一张X光片，却问你"这道菜用了什么香料"。模型需要识别出图片根本无法支撑对这个问题的回答。

这三种情况有一个共同点：再多的领域知识也无法挽救当前的输入。 你知道所有汽车的发动机参数，但图片里是一只猫；你知道所有香料的名称，但X光片里不会告诉你宫保鸡丁用了多少花椒。这类问题的"不可回答性"不是知识缺口，而是证据缺口。

现实中，UPD（Unanswerable Problem Detection）任务的评估方式很严格：每道标准题必须和它的"不可解答版本"配对评估。这意味着模型不能采取"全部拒答"的懒人策略——该答的必须答对，不该答的必须拒答。两条腿，缺一不可。

💥 问题的本质：为什么"学拒绝"会"丢本事"？

要理解为什么加弃权能力会损伤已有能力，我们得先拆解一下"弃权"这件事在技术上是怎么做的。

目前主流的做法有两类：

第一类：继续训练（参数更新法）。 给模型喂大量的"不可回答问题"示例，通过 SFT（监督微调）或 LoRA 等参数高效微调方法，让模型学会在这些情况下输出 NOTA。这就像是让小Q去读一本《如何识别陷阱题》的教材——但问题是，这本教材的知识会和他的旧知识互相干扰。神经网络不是硬盘，新写入的数据会覆盖旧有数据的痕迹。

第二类：外挂判断器（外部选择法）。 训练一个单独的"打分器"，它在模型回答之前先判断"这题可不可答"。如果不可答，就拦截模型的输出，替换成 NOTA。这像是给小Q配了一个助手，助手先扫一眼题目，觉得有问题就按住小Q的手不让写答案。

听起来两种方法都行？但 ReFrain 论文用实验数据揭示了一个被行业长期忽略的关键事实：这两种方法都会同时"误伤"和"误修"模型的原始输出，而且方向和幅度完全不受控。

用数字说话。研究团队在 Qwen2.5-VL-3B 上做了实验——这是一个 30 亿参数的多模态模型，底子相当不错。他们先让模型通过 SFT 学习标准视觉问答：原始基座 B0 的标准准确率是 86.72%，经过 SFT 之后得到 B1，准确率变成 87.22%。这个过程修正了 57 道原来答错的题（SFT-gained records），丢了 29 道原来答对的题，净赚 28 道。到这里为止，一切正常。

然后，他们分别用不同方法给 B1 加弃权能力，结果如下：

看出问题了吗？

CLIP-UP EmbLoRA 的标准准确率从 87.22% 降到了 86.85%，净降只有 0.37 个百分点。如果只看这个数字，你大概会觉得"加弃权能力的代价很小嘛"。但在这 0.37pp 的背后，是 62 道原本答对的题被改错了，同时 41 道原本答错的题被改对了。净效果几乎为零，但具体到每一道题上，模型的行为已经面目全非。更要命的是，57 道 SFT 新获得的正确答案中，有 17 道被丢掉了——近三分之一的新能力被抹去了。

论文用了一个精准的比喻来描述这种现象：这就像你请了一个装修队来给你家加一扇防盗门，装完之后你量了一下房子的总面积——没变。但你没注意到的是，装修队为了装门，把客厅的一面墙拆了，又在厨房砌了一堵新墙。房子的"净面积"确实没变，但你家的布局已经完全不认识了。你放在客厅沙发下的备用钥匙找不到了，你习惯了的动线被打乱了。

关键洞察：净指标（net accuracy）会掩盖能力的真实流失。 一个模型可能在总体准确率上只降了零点几个百分点，但具体到用户依赖的特定能力上，已经发生了大规模的重塑。那些刚刚通过 SFT 获得的新能力——论文称之为"SFT-gained records"——尤其脆弱，因为它们在模型权重中的"根基"最浅，最容易被后续训练扰动。

朴素弃权 SFT 的结果更加触目惊心：弃权正确率确实飙到了 87.47%，但这是用 140 道原正确答案的丢失换来的。为了学会说"不"，小Q把将近三百分之一的旧知识也一起忘了。这种代价在医疗、自动驾驶等对可靠性要求极高的场景中是绝对不可接受的。

🔧 ReFrain 的三步手术

ReFrain 的核心思想可以用一句话概括：给模型加弃权能力，应该像做手术一样精确——只摘除该摘除的，不伤及任何健康的组织。

它不更新模型的任何参数，不改变模型的任何实质性回答。整个系统由三个严格分离的步骤组成：

📡 第一步：Score（打分）——读懂模型的"犹豫"

在模型生成答案的第一个 token 位置，ReFrain 提取全词表 logits——也就是模型对每个可能 token 的原始打分向量——然后用一个简单的线性探针（linear probe）将其映射为一个标量分数：可答性分数。

s(x) = wᵀφ_f(x) + b

其中 φ_f(x) 是模型在回答位置的全词表 logits 向量，w 和 b 是探针的权重和偏置。分数越低，说明模型内部对这道题的证据越不足，应该倾向弃权。

这个探针在训练集上拟合，以 Standard 记录为正类、UPD 记录为负类，用五折交叉验证（按图像聚类分组，防止数据泄漏）选择正则化强度。特征和探针形式直接继承自 LVLM-LP 方法，但有一个关键优势：它和模型的回答是同一次前向传播产生的——不需要任何额外的计算开销。 打分过程完全"搭便车"在正常的推理流程上。

📏 第二步：Calibrate（校准）——把"误伤"关进笼子

这是 ReFrain 的灵魂所在。

传统方法选阈值的方式是：在验证集上最大化某个聚合指标（比如平均 Dual 准确率），然后选出让这个指标最大的阈值。这听起来很合理，但它完全不关心"这个阈值会误伤多少道原本答对的题"。

ReFrain 的做法截然不同。它在留出校准集（held-out image clusters，共 2,406 道标准记录）上直接回答一个更本质的问题：

"如果我选这个阈值，会误伤多少道原本答对的题？这个数字我能不能接受？"

数学上，这被表述为一个约束优化问题：

τ_ε = max{ τ ∈ 𝒯 : L̂_CM(g_τ; f) ≤ ε }

其中 L̂_CM 是校准集上的经验"原始正确损失"（即被否决的原正确答案比例），ε 是预算。当 ε=0 时，就是"零预算"——校准集上一个原正确答案都不许丢。

选出的阈值是满足预算约束的最大候选阈值。为什么是最大？因为在单边性（下面会讲）的保证下，阈值越大，否决越多，弃权正确率越高。所以在预算允许范围内，选最大的阈值就能最大化弃权收益。

这实际上是 Neyman-Pearson 分类框架的实证版本：把"误伤正确答案"视为主动约束的对象，而不是只关注"拦住了多少错误"。换一个比喻：传统方法像是一个只关心"抓了多少坏人"的保安，抓得越多越好，不管误抓了多少好人；ReFrain 像是一个有着严格行为准则的保安——"误抓率不得超过千分之五"——在此前提下尽量多抓坏人。

✋ 第三步：Veto（否决）——只做减法，不做加法

当分数低于阈值时，系统的唯一动作是：把输出替换为题目中实际显示的"以上都不是"选项的字母。 不做任何改写，不生成任何新内容，不是"我觉得答案可能是 NOTA"，而是直接把原答案否掉，换成 NOTA。

高于阈值的记录？原封不动。模型原来输出什么，就是什么。一行代码都不会多改。

🛡️ 单边性：ReFrain 的核心美学

Veto 机制带来了一个数学上优雅的性质，论文称之为 One-sidedness（单边性）。它不是一个经验观察，而是由否决规则直接推导出的数学定理：

性质 (a)：在标准记录上，新系统的正确性 ≤ 原模型的正确性。

证明很直接：NOTA 在标准题上永远是错误答案（因为标准题的正确答案是某个实质性选项）。所以否决一个标准记录的输出，只会把它从"对"变成"错"（或保持"错"），绝不会把"错"变成"对"。新系统的标准准确率不可能超过原模型。

性质 (b)：在不可回答记录上，新系统的弃权正确率 ≥ 原模型。

因为 NOTA 在 UPD 题上永远是正确答案，否决只会把"错"（模型强行选了一个实质选项）变成"对"（NOTA），或者保持"对"（模型本来就想选 NOTA）。所以弃权正确率只会升不会降。

性质 (c)：阈值越大，否决的记录越多，丢失和弃权正确率都单调不减。

整个系统构成了一条由阈值参数化的"边界线"——你可以把它想象成一道前沿（frontier），预算 ε 只是在这条线上选一个点。想更保守？往左移。想更激进？往右移。不需要重新训练，只需要换一个阈值。

这三条性质合起来的意思是：ReFrain 是一个"只减不增"的系统——它只会否决不修改，只会丢失不会纠正。 它放弃了一个能力（纠正模型的错误答案），换来的是完全可控、可预测、可解释的行为。

类比一下：传统方法像一个热情但毛手毛脚的编辑，看到文章有问题就重写整段——有时候改好了，有时候改坏了，你很难预测最终效果。ReFrain 像一个严格的审稿人，只做一件事：在页边盖一个章——"拒绝发表"。他不会帮你把烂文章改好，但也绝不会把你原来写得精彩的段落改坏。

论文也诚实地指出了这个 trade-off 的代价：ReFrain 无法纠正原模型的错误。在独立确认集上，CLIP-UP EmbLoRA 和朴素弃权 SFT 的标准准确率的点估计值都高于 ReFrain（因为它们通过纠正错误提升了净准确率），虽然置信区间包含零，差异不显著。ReFrain 的回答是：这不是它的设计目标。它的目标是"不丢东西"，而不是"多捡东西"。在一个 AI 系统被频繁更新迭代的现实中，"不丢东西"本身就是一种珍贵的品质。

还有一个值得深思的观察：后训练会改变弃权的操作点。 同一个探针流水线，在原始基座 B0 上的弃权正确率明显高于在 SFT 后模型 B1 上的——零预算点从 67.85% 降到 61.94%，0.5% 预算点从 80.56% 降到 74.05%。这意味着答案 SFT 不仅改变了模型答题的能力，还改变了模型内部"可答性信号"的分布。因此，任何在基座模型上校准好的弃权层，在模型经过后续训练之后都需要重新评估和校准。这个发现对实际部署有直接的指导意义：你不能在模型 V1 上调好弃权阈值，然后模型升级到 V2 就直接沿用旧阈值——你必须重新校准。

📊 实验结果：数字不说谎

主实验：Qwen2.5-VL-3B

在 5,626 道标准评估记录和 5,626 道 UPD 记录上，ReFrain 的表现堪称惊艳：

零预算（ε=0）：在标准测试集上，没有丢失任何一道原正确答案（0/5,626），57 道 SFT 新增正确记录全部保留（57/57），同时弃权正确率从 54.63% 提升到 61.94%（+7.30pp）。联合标准通过（标准准确率下降 <1pp 且弃权正确率提升 >0pp）。

0.5% 预算（ε=0.5%）：允许丢失 12 道（校准集上实际丢了 11 道），评估集上丢了 8 道。弃权正确率达到 74.05%。对比 CLIP-UP EmbLoRA 的 64.65%——ReFrain 不仅丢的少得多（8 vs 62），弃权率还高出近 10 个百分点。

同一探针，默认阈值：如果不做校准，直接用探针的默认概率阈值 0.5，弃权率确实更高（92.16%），但代价是丢失 298 道原正确答案。这就是"不加约束的力量"的代价——你拦截了很多该拦的，但同时也误伤了大量不该伤的。

跨模型泛化：InternVL3-8B

同样的流程在 InternVL3-8B（80 亿参数，比 Qwen2.5-VL-3B 大近三倍）上也能工作：零预算在评估集上仅丢 4 道原正确答案，弃权正确率 80.84%（比无弃权基线的 74.33% 提升了 6.51pp）。这说明 ReFrain 不是一个只对特定模型有效的技巧，而是一个可迁移的方法论。

独立确认：最有说服力的实验

在所有模型和阈值冻结之后，研究团队在一个完全独立的数据集上做了确认实验。这很重要——很多方法在自己的测试集上表现很好，但换了一批数据就原形毕露。确认集来自 AI2D（Allen AI Diagrams），这是一个与训练数据完全不同的图表图像集合。228 个图像聚类，912 道标准记录，816 道 UPD 记录。

结果：0.5% 预算点在 912 道标准记录上丢失了 0 道原正确答案，弃权正确率 66.05%。这比 EmbLoRA 高了 32.72 个百分点。零预算点同样没有丢失任何原正确答案。

这个实验的设计哲学值得称道：所有模型、探针系数、阈值在确认实验之前就已经冻结，确认集没有参与任何训练、校准或超参数选择。这不是一个"调到最好再上报"的结果，而是一个真正的"冻结后开箱测试"。在机器学习研究领域，这种严格程度是少见的——大多数论文的结果都是在知道测试集表现之后反复调整才报告的。ReFrain 的确认实验是预先注册的（pre-registered），这赋予了其结果额外的可信度。

打分器的可替换性：一个通用的校准-否决框架

ReFrain 的另一个设计亮点是：三步流水线中的第一步（Score）是完全可替换的组件。论文在固定校准和否决步骤的前提下，替换了七种不同的打分器：交叉验证的 logits 探针（默认）、固定正则化强度（C=1）的探针、最大 softmax 概率（MSP）、负熵、CLIP 相关性向量分类器、BICR 的视觉对比正确性探针、以及 ACR-MCQ 的可学习置信度融合。

结果很有趣：在 0.5% 预算下，两种 logits 探针的弃权正确率分别为 74.05% 和 75.40%，表现最好。其他五种打分器的范围在 56.59% 到 67.20% 之间，明显低于 logits 探针。这说明模型内部的 logits 信息是最强的可答性信号——比置信度分数（MSP、熵）、比外部视觉-文本匹配信号（CLIP 相关性向量）、甚至比专门设计的正确性探针（BICR、ACR）都更有效。

这个发现对整个"弃权"研究社区有方法论意义：你不需要设计复杂的打分器，有时候最简单的线性探针——只要校准得当——就能击败更精巧的方案。关键的差异化因素不是打分器有多花哨，而是校准步骤是否以"最小化误伤"为目标。

成本分析：ReFrain 放弃了什么

论文对 ReFrain 的"成本"做了一个清醒的分析：

放弃了纠正能力。 由于只否决不修改，ReFrain 的标准准确率不可能超过原模型 f。这是设计上的选择，不是缺陷。

弃权覆盖率有上限。 弃权正确率的提升上限取决于打分器对两种记录（标准 vs UPD）的分离能力。如果打分器无法区分"该答的题"和"该拒的题"，再好的校准也无力回天。

校准集的代表性。 零预算的理论保障依赖于校准集和新数据之间的可交换性。如果新数据的分布和校准集差异很大（比如不同领域、不同风格的图像），保障就不成立。

这些成本每一条都被论文明确列出、讨论、并与替代方案比较。这种"知无不言"的态度在论文写作中并不常见，但在安全攸关的应用场景中至关重要——一个部署者需要知道他的系统在什么条件下会失效，而不仅仅是它在什么条件下会成功。

与朴素弃权 SFT 的深层对比

朴素弃权 SFT 在确认集上的弃权正确率比 ReFrain (ε=0.5%) 高 4.90pp，且通过了联合标准。但它丢失了 4 道原正确答案（912 道中的 4 道）。ReFrain 的核心论点不在于"我的弃权率最高"，而在于"我在提升弃权率的同时，几乎不丢失已有能力"。这是一个关于能力保留的论证，而不是关于性能最大化的论证。

🧮 理论保障：不只是经验好

ReFrain 的零预算校准还有一个漂亮的理论性质（Property 3）：假设新图像聚类与校准聚类是可交换的（exchangeable），那么在零预算阈值下，新聚类中丢失任何原正确答案的概率至多为 1/(K+1)，其中 K 是校准聚类的数量。

K=183 时，这个概率约为 1/184 ≈ 0.54%。换句话说，如果你看到一个新的图像聚类，它有超过 99% 的概率不会丢失任何原正确答案。

更精细的版本（Property 3b）给出了一个条件概率界：在校准聚类上，以至少 1-(1-α)^K 的概率，新聚类的丢失概率至多为 α。取 α=1.62%，K=183，则以约 95% 的概率，新聚类的丢失概率不超过 1.62%。

论文也极其诚实地指出了这个性质的边界条件：它只适用于图像聚类级别（不是记录级别），只覆盖 ε=0 的情况，不适用于来自完全不同数据源的数据（如独立确认集），且前提是 f 和打分器 s 的拟合没有参考校准集或新聚类的信息。这个"适用范围声明"本身就是良好学术规范的体现——它不是夸大其词，而是精确地告诉你这个保障在哪里成立、在哪里不成立。

🌊 更大的图景：三个超越方法本身的贡献

ReFrain 的贡献远不止于一个具体的弃权方案。它提出了三个对行业有长期价值的概念工具：

1. 弃权修复（Abstention Repair）作为独立问题。 之前的研究把"训练模型答题"和"让模型学会弃权"混为一谈，认为它们是一个统一的训练目标。ReFrain 第一次把后者明确为一个后续的修复问题，并且提出了严格的"共享检查点协议"：所有弃权方法必须从同一个 SFT 后的检查点出发，在相同的数据集上训练，在相同的校准集上选阈值，不允许在评估集上调任何超参数。这个协议让不同方法的比较从"比净指标"升级为"比行为保真度"——这才是真正有意义的比较。

2. SFT 增益保留率（Gain Retention Rate）。 这是论文提出的一个全新评估维度：不只看总体准确率，还看"上一轮训练刚获得的能力有多少被保留"。公式很简单：Retain(g_τ; R) = 1 - |{i∈R: s(x_i)<τ}| / |R|，其中 R 是 SFT 增益记录的集合。在多轮迭代训练已成为行业标配的现实中，这个指标比单次准确率更有意义——你不仅需要关心模型现在有多强，还需要关心它上一轮学到的东西还在不在。

3. 方法分类学（Taxonomy）。 论文把现有弃权方案按"决策在哪里做出"分为三类：训练内弃权（参数更新，如朴素 SFT、EmbLoRA）、输入级注入（如 CLIP-UP 将相关性向量注入模型输入）、输出级覆盖（ReFrain、LVLM-LP 探针引导解码、CLIP-UP 分类基线等）。这个分类框架比简单的方法罗列更有助于理解不同方案的本质差异——它们不只是"不同的方法"，而是在决策链条的不同位置上插入弃权逻辑。

🎬 尾声：小Q的新故事

回到小Q的故事。

如果用 ReFrain 的方法教小Q学会说"不"，结果会是：他所有原来会做的题一道不少，新学的 57 道题全部保留，同时在"该拒答的题"上表现提升了 7 到 20 个百分点。他不会帮你把答错的题改对——那是另一个问题，需要另一套方案——但他绝不会把你原来答对的题改错。

在一个 AI 系统被频繁更新、迭代的现实中，这种"不丢东西"的承诺比什么都珍贵。每次模型升级，用户最怕的不是新功能不好用，而是旧功能悄悄坏掉了。ReFrain 给了我们一个思路：弃权可以是一门精密的外科手术，而不是一场推倒重来的装修。

学会说"不"，本来就不需要忘掉所有的"是"。

📚 参考文献

• Zhang, J. (2026). Multimodal Abstention That Preserves Acquired Correct Answers. arXiv:2611.14311 [cs.AI].
• MM-UPD: Unanswerable Visual Question Detection benchmark (AAD, IASD, IVQD)
• LVLM-LP: Linear probes on token distributions for answerability scoring
• CLIP-UP: Visual-textual correlation vectors for unanswerable question detection
• VL-Uncertainty: Perturbation-based uncertainty estimation
• Qwen2.5-VL-3B & InternVL3-8B: Base multimodal models
• AI2D: Independent confirmation image set
• Neyman-Pearson classification & Conformal Risk Control: Theoretical foundations for constrained threshold selection

#论文 #arXiv #AI #小凯