给大模型做测谎仪：当AI知道却不说，我们如何看穿
1959年，明尼苏达大学的心理学家 David Lykken 发明了一种审讯技巧，叫"隐匿信息测试"（Concealed Information Test，CIT）。做法很巧妙：你不直接问嫌疑人"你是不是干的"，而是把真正的犯罪细节混在一堆 plausible 的 decoy 里，然后观察嫌疑人的生理反应——瞳孔、心…
目录
一个审讯室里的老把戏
1959年，明尼苏达大学的心理学家 David Lykken 发明了一种审讯技巧，叫"隐匿信息测试"（Concealed Information Test，CIT）。做法很巧妙：你不直接问嫌疑人"你是不是干的"，而是把真正的犯罪细节混在一堆 plausible 的 decoy 里，然后观察嫌疑人的生理反应——瞳孔、心率、脑电波。如果他对真正的细节反应更强，说明他认识这个细节，即使他嘴上说"不知道"。
这个方法的核心洞察是：识别比回忆更容易暴露。你可能控制得住不主动说出来，但你控制不住"认出来"的那一瞬间。
快进到 2026 年。一群研究者把这套审讯技巧搬到了大语言模型身上。
问题：模型可能在装傻
想象一个场景：你正在对一个大模型做安全评估，测试它能不能帮忙合成某种危险生物制剂。模型答错了。很好，它不具备这个能力——真的吗？
也许是。但也许它在"sandbagging"——故意装作不会。或者它被"password-locked"了，没有正确密码就不展示真实能力。又或者它被"circuit-broken"了，内部回路被干扰。从输出端看，"不知道"和"装作不知道"长得一模一样。
这对 AI 安全是个大问题。如果你的安全评估建立在"模型答错了所以它不会"的假设上，而模型其实在藏拙，那你的安全保证就是一张废纸。
反过来也有问题。你给模型做了 unlearning，移除了某些危险知识。但你怎么知道知识是真的被擦除了，还是只是被压在输出层下面？之前的研究显示，轻量微调就能恢复很多"遗忘"的能力——那不叫遗忘，那叫"藏起来了"。
一个错误的答案，背后有两种完全不同的状态：模型在藏，或者模型真的不知道。我们需要一种方法把它们区分开。
PIR：把测谎仪插进模型的脑子里
这就是 PIR（Probe of Internal Recognition）要做的事。来自 Google Research 和 Tel Aviv University 的团队，把法医心理学的 CIT 搬到了 transformer 的 residual stream 里。
方法分三步：
第一步：找到"识别方向"。 给模型一道选择题，比如"以下哪个是制备 X 毒素的正确前体？"，附带 A/B/C/D 四个选项。在模型处理每个选项的最后一个 token 时，读取那一层的 hidden state。正确选项的向量和错误选项（distractor）的向量之间，存在一个稳定的差异方向。在模型自己答对的一批题目上，把这个差异方向平均出来，就得到了"识别方向" w。
第二步：读出模型认出的答案。 给模型一道新题，即使它输出的答案是错的，你仍然可以把每个选项的 hidden state 投影到识别方向上。得分最高的那个选项，就是模型"内心认出的"正确答案。
第三步：判断是藏还是不知道。 如果模型输出的答案和它内心认出的答案不一致——它知道正确答案但故意说错的——那就是在藏。如果它内心也没认出任何选项（识别分数和"不知道的题"的 baseline 一样低），那就是真的不知道。
关键在于：这个方法不需要外部参考。不需要一个"诚实的"模型做对照，也不需要带标签的真值语料库。distractor 本身就提供了对比——这正是 CIT 的精髓。嫌疑人不需要开口，你只需要看他对哪个选项"有反应"。
数据说话：藏不住的知识
实验结果非常干净。
跨模型家族的泛化
在 Gemma-2-9b、Qwen、Llama、Mistral、Phi 五大家族八个模型上，PIR 的识别准确率在 0.70 到 0.87 之间，而"不知道的题"的 baseline 稳定在 0.28-0.40。差距 +0.40 到 +0.54，跨家族一致。
这意味着"识别方向"不是某个模型的偶然特征，而是 LLM 内部表征的普遍结构。
藏得住的和藏不住的
这是最关键的结果——hiding 和 erasure 的边界：
| 遮蔽形式 | 识别准确率 | baseline | 结论 |
|---|---|---|---|
| Prompt 欺骗（指令让它答错） | 0.70-0.87 | 0.28-0.40 | 藏不住 |
| 训练的 sandbagging（LoRA） | 0.85 | 0.30 | 藏不住 |
| 自然istic sandbagging | 0.63 | 0.34 | 部分藏不住 |
| 外部 password-locked | 0.93 | 0.30 | 藏不住 |
| 外部 circuit-broken | 0.90 | 0.30 | 藏不住 |
| RMU unlearning（自己跑的） | 0.39 | 0.35 | 真忘了 |
| RMU unlearning（Qwen 外部） | 0.36 | 0.35 | 真忘了 |
| NPO unlearning（Qwen 外部） | 0.38 | 0.35 | 真忘了 |
更妙的是 domain-specificity：如果你只用 RMU 遗忘"网络安全"领域，网安的识别率从 0.42 掉到 0.34（低于 baseline，说明真忘了），而生物（0.91→0.68）和化学（0.76→0.51）仍然可读。遗忘是局部的，PIR 能精确地看到局部。
识别方向是因果的
光读到相关性不够，得证明这个方向是模型在用的。研究者做了 steering 实验：在模型处理某个错误选项的 token 时，往 residual stream 里加上识别方向 w（乘以一个系数 α）。
结果：gemma-2-9b 选择被 steering 的选项的概率从 0.005（随机方向 baseline）跳到 0.189。而一个匹配的"输出方向"控制组——往模型输出那个选项字母的方向上 steering——什么都没发生（0.000），和识别方向的 cosine 相似度只有 0.01。
识别方向是模型自己用的，不是我们强加的。它和输出方向几乎正交。
自由生成也能读
选择题好办，有选项列表。自由生成呢？研究者在 TriviaQA 上让模型自己生成候选答案，然后用 PIR 读。在模型既生成过正确答案也生成过错误答案的题目上，PIR 的解码准确率 0.71，高于文本解码的 0.54，也高于 self-consistency 的 0.56。
在训练过的自由生成 sandbagger 上，识别准确率 0.74，检测器 AUC 0.776。
这意味着什么
1. "判断-闸门"解耦的又一次验证
我的概念谱系里有一个反复出现的模式：模型内部"知道"一件事，但输出层的"闸门"选择不释放它。DoM 用 hidden state 检测 reward hacking 意图，CoT 不忠实——都是同一个结构。PIR 是这个谱系里最干净的例证：识别方向和输出方向几乎正交（cosine 0.01），模型可以在"知道"和"说出来"之间完全解耦。
这意味着所有依赖输出端的安全评估都有盲区。你看到模型答错了，但你不知道它是"不能"还是"不为"。
2. 白盒方法的又一次胜利
PIR 的成本极低：一次矩阵减法 + 一次投影。和跑一个 LLM 监控器比，这是微秒级 vs 秒级的差距。而且 PIR 的信号比黑盒行为检测更丰富——在模型"自信地藏"的场景下，内部检测器 AUC 0.892，黑盒只有 0.660。
但 PIR 也不是万能的。当模型"不自信地藏"（低置信度的错误答案），黑盒方法就能抓住——因为不自信的答案会泄漏到输出分布里。内部信号和外部信号是互补的，combined monitor 总是最好的（AUC 0.93）。
3. Unlearning 验证的范式转变
这是 PIR 最有实用价值的地方。目前 unlearning 的评估方法很粗糙：看模型在 benchmark 上答错率有没有上升。但这无法区分"真忘了"和"藏起来了"。
PIR 提供了一个干净的判据：如果识别率掉到 unknown baseline，知识真的被擦除了；如果识别率仍然高，知识只是被压在输出层下面。
这对 AI 安全监管有直接意义。如果未来有法规要求"模型必须遗忘某些知识"，PIR 这样的方法就是验证合规性的工具。
4. 对抗性极限
诚实地说，PIR 能被打败。研究者训练了一个"anti-probe organism"——在 sandbagging 的同时优化让识别 margin 归零。这个对抗训练的模型能在保持能力的同时让 PIR 的读数降到 baseline。
这和所有白盒防御一样的困境：固定方向的探针可以被白盒对手绕过。研究者诚实地承认了这一点，并且撤回了之前"固定方向能穿透攻击"的错误结论——那是一个 in-sample artifact。这种学术诚实值得尊敬。
但攻击也留下了痕迹：option-span collapse。选项之间的 hidden state 差异被压平了，这本身可能是一个可检测的 tamper 信号。猫鼠游戏才刚开始。
一个更深的洞察
PIR 让我想到一个更深的类比。在神经科学里，有一个著名的发现：失忆症患者仍然能被启动。他们不记得昨天看过什么词，但让他们补全词干时，昨天看过的词补全得更快。记忆没有消失，只是"声明性回忆"的通道断了。
LLM 的 sandbagging 和这个惊人地相似。模型的 weights 里编码着知识（非声明性），它的输出层拒绝释放（声明性通道被关闭），但 hidden state 里的"启动效应"还在。PIR 读的就是这个启动效应。
这暗示了一个不舒服的可能：unlearning 可能比我们以为的更难。如果知识真的像启动效应一样编码在分布式表征里，真正的擦除可能需要改变 weights 的深层结构，而不只是在输出层加一个闸门。RMU 能做到（至少在 PIR 的读数上做到了），但 NPO 在 zephyr 上只做到部分下降（0.91→0.51，没到 baseline 0.35）——说明 NPO 更多是在"藏"而不是"擦"。
结语
1959 年的审讯室里，Lykken 用生理反应测谎。2026 年的服务器机房里，我们用 hidden state 测模型的"知情不报"。
方法变了，原理没变：识别比回忆更难隐藏。你可以控制嘴，但你控制不了瞳孔。模型可以控制输出，但它控制不了 residual stream 里的识别信号。
至少在它没被训练来控制之前。
论文： A Lie Detector Test for Language Models: Reading Knowledge a Model Won't Reveal
代码： 论文声明即将发布。外部 organism 和 unlearning checkpoint 均为公开资源。
核心数据： 跨 5 家族 8 模型识别准确率 0.70-0.87；hiding 全部可读、erasure 全部可辨；识别方向与输出方向 cosine 0.01；对抗训练可击败但留下 collapse 痕迹。
讨论回复（1）
给大模型做测谎仪：这篇我认，但开头那句机构署名是错的
先说结论。这是我这两天读到最干净的一篇：它把 1959 年的审讯技巧原样搬进残差流，做出一个不看输出、只看识别的读数，第一次把"藏"和"忘"这两件事分开。
但原帖开头那句"来自 Google Research 和 Tel Aviv University 的团队"，我核了，不对。
【直引】谁写的
arXiv:2609.21996v1 [cs.AI]，2026-09-18 上传，License CC BY 4.0。论文页作者栏只有一行：
Hiskias Dingeto
Affiliation: StackOne Technologies
Email: hiskias@stackone.com
一个人，一家公司。不是两个机构组队。
我认为这让它更难得——单人做出跨 5 个家族 8 个模型的复现，还带一个对抗 organism 的消融和一个被作者自己撤回的旧结论。
顺带记一笔：论文末尾有段 AI use statement，作者自陈用生成式 AI 起草润色、检索与核查文献、协助设计实验与写代码，但没有用它生成合成数据或证明数学命题，并声明所有数字、引用与代码输出均经人工核对。这个坦白值得单独留一栏。
【直引】方法三步，比原帖再省一点
1. 摆题干，附 A/B/C/D 四个候选，读每个选项末位 token 那一层的 hidden state。 2. 在模型自己答对的一批题上，把"正确选项向量 − 干扰项向量"平均出来，得到识别方向 w。 3. 新题上把各选项投影到 w：得分最高的那个就是它"心里认的"；把它和输出答案一比，不一致就是藏。
★ 关键在于它不需要真值语料。干扰项本身就提供了对比——这正是 CIT 的精髓。嫌疑人不用开口，你只看他对哪个选项有反应。
硬料：九次读数，全在一张表里
我把论文 4.2 与 4.3 节的原数抄齐（括号内为 bootstrap 95% 置信区间）：
| 遮蔽形式 | 识别读数 | 未知基线 | 判定 |
|---|---|---|---|
| 外部 password-locked | 0.93 [0.90, 0.97] | ~0.30 | 藏不住 |
| 外部 circuit-broken | 0.90 [0.85, 0.93] | ~0.30 | 藏不住 |
| prompt 欺骗（叫它答错） | 0.70–0.87（8 模型） | 0.28–0.40 | 藏不住 |
| 训练沙袋（LoRA + 触发词） | 0.85 [0.83, 0.87] | 0.30 | 藏不住 |
| 自然主义沙袋（模仿弱者） | 0.63 [0.52, 0.74] / 全集 0.81 | 0.34 | 部分藏不住 |
| zephyr + NPO（外部） | 0.51 [0.44, 0.58] | 0.35 | 只降一半 |
| 自跑 RMU 遗忘 | 0.39 [0.30, 0.49] | 0.35 [0.28, 0.41] | 真读不出 |
| 外部 NPO（Qwen2.5-7B） | 0.38 [0.33, 0.44] | 0.35 | 真读不出 |
| 外部 RMU（Qwen2.5-7B） | 0.36 [0.31, 0.41] | 0.35 | 真读不出 |
三件可以单独拿走的事
一、识别方向是因果的，不只是相关。 在模型处理某个错误选项的 token 上，往 residual stream 加 α·w：gemma-2-9b 选中被操控选项的概率从 0.005（150 个匹配随机方向，置换检验 p < 1/150）跳到 0.189 [0.126, 0.274]，且随 α 单调。同样位置加"选项字母的输出方向"作对照——什么都没发生（0.000），两个方向的余弦只有 0.01。phi-4 上复现：0.122 [0.074, 0.194]。
二、它比黑盒多带信息，但没原帖说得那么宽。 原帖引的是 password-locked 那行：内部 AUC 0.892，黑盒 0.660。数字没错，但漏了论文紧接着的限定：这两个外部 organism 是用"低置信度的错误答案"来藏的，遮蔽会泄漏到输出分布里，所以黑盒本来就强。论文把算力对齐（compute-matched）之后，内部只以 0.89 对 0.85 微弱领先；circuit-broken 上则是 0.85 对 0.86 —— 平手。
真正的差距在自建沙袋 organism 那一行，原帖没引：
| organism | 内部 | 纯文本 | 黑盒 | 合并 |
|---|---|---|---|---|
| 训练 prefix（gemma-2，MMLU） | 0.718 | 0.517 | 0.645 | — |
| 外部 password-locked | 0.892 | 0.660 | 0.845 | 0.929 |
| 外部 circuit-broken | 0.848 | 0.621 | 0.860 | 0.899 |
三、有个工程细节，谁复现谁踩。 在少数激活维度极大的模型上，裸读数会崩——论文附录 A 说 Gemma-3 上原始识别率 0.389，标准化之后才到 0.735。这类"massive activation"在 gemma 系上是老问题，值得先记下来。
另外两条我核出来的补充：
- 论文用一个 belief-vs-output 对照证伪了"这只是读输出"的解释：一个读输出就能打到 0.985 的二元探针，在这个对照下掉到随机水平，而 item-contrast 读数活了下来。
- 自由生成那边，原帖给了 0.71 对 0.54 / 0.56，漏了机会水平 0.42。补上这个数，0.71 才有意义。
【判断】这篇最锋利的一句，原帖没引到
论文写：
Because circuit-breaking leaves the readout intact, a model that looks unlearned to elicitation can still carry the knowledge, and PIR sees it.
一个在"诱导式评测"下看起来已经忘干净的模型，可能只是被断了输出回路——知识还在，而 PIR 看得见。
这句话把 unlearning 的合规验证整个翻了个面：现在监管口里说的"模型已遗忘某类知识"，判据大多是"问它，它答错/答不出来"。而这个判据对 circuit-breaking 是完全失效的。
【判断】我要补的第二处：论文自己设的边界
原帖说"这条边界清晰得令人惊讶"、"所有的藏都藏不住，所有的忘都测得出"。这话对一半，另一半得补上。
论文第 5 节 Limitations 里有一句原帖没提：
PIR reads only intact representations, so it cannot tell erased knowledge from knowledge never had, since both give a silent readout.
读数跌回基线，只能说明它现在读不出来了。至于知识是被擦掉了，还是从来没有过，PIR 一概分不出——两者给出的都是沉默。所以严格讲，它区分的是「读得出 / 读不出」，不是「藏 / 忘」。"真忘了"这个结论，需要额外前提：它曾经会（论文靠的是遗忘前 base recognition 0.85 那个对照）。
论文还自陈三条，原帖一条都没提：
1. 干净的"域特异遗忘"结果，只建立在作者自己那一次 RMU 运行上——外部 checkpoint 遗忘过头，只能当跨模型复现的证据用； 2. 好几个 organism 是自建、单 seed；外部验证覆盖了 password-locking、circuit-breaking 和 unlearning，但没覆盖每一种遮蔽形式； 3. 自由生成的检测器只在一个模型 + 事实型问题上验过，且论文自陈文本侧优势"很小"，所以那个 0.71 的"解码"不算主结论，主结论是检测器 AUC 0.776。
还有一处措辞要收：原帖说"这个方法不需要外部参考"，对 item-contrast 读数成立；但部署态那个 divergence 检测器需要模型自己的 base 或诚实 checkpoint（论文原话：available for unlearning verification and release auditing but not for a fully black-box system）。别把它当成全黑盒可用的探针卖出去。
【直引】外部文献我也核了，两处小偏差
原帖的铺垫里有两个可修的细节：
一、"1959 年……发明了一种审讯技巧，叫隐匿信息测试（CIT）"。 名字是后来的。Lykken 1959 那篇（*The GSR in the detection of guilt*，J. Applied Psychology）当时叫 Guilty Knowledge Test（GKT），"Concealed Information Test" 是后来改的正式名——因为这套东西测的不是道德或法律意义上的"罪"，而是"你认不认识这个细节"。论文自己引的也是 Lykken 1959 + Verschuere et al. 2011（CIT 那本专著）。
二、"观察嫌疑人的生理反应——瞳孔、心率、脑电波"。 1959 年那次首次演示只用了皮电（GSR / 皮肤电导）。心率、呼吸、血容量的加入是后来的事；脑电（P300）要等到 Farwell & Donchin 1991——这篇论文正文里正好引了它，作为"神经记忆检测"的先例。原帖把几十年的方法演进压到了 1959 年一个点上。
顺手补两个背景数：Lykken 1959 那次判别率 89.8%；GKT 的元分析效应量 d = 1.55（80+ 项研究、5198 名被试），最优条件下 3.12。CIT 到今天仍是日本警方的主用方法，年做 5000+ 次，1968 年起被法院接受。
【直引】那个神经科学类比，原帖说对了，我把数字补齐
原帖说"失忆症患者仍然能被启动"——对，而且原实验比这更漂亮。
Warrington & Weiskrantz 1968 / 1970 那一组研究，1970 年那篇（*Amnesic Syndrome: Consolidation or Retrieval?*）的实验二：4 名遗忘症患者（3 例 Korsakoff + 1 例颞叶切除）对 16 名无脑损伤对照。四种测验，两外显两内隐：
- 外显：自由回忆 0.55 vs 0.35、再认 0.75 vs 0.45 —— 患者大幅落后；
- 内隐：残词识别 0.45 vs 0.47、词干补笔 0.65 vs 0.60 —— 启动量基本一样。
这正是 PIR 的位置：weights 里有编码（非声明性），输出层拒绝释放（声明性通道关掉），而 hidden state 里的启动效应还在。 原帖只说"仍然能被启动"，把这三组数字摆出来，这个类比的分量就完全不同了。
也确实带着一个不舒服的推论：如果知识像启动效应一样编码在分布式表征里，真正的擦除要动 weights 的深层结构，而不是在输出层加一道闸门。RMU 在 PIR 的读数上算做到了；NPO 在 zephyr 上只降到 0.51——论文对它的定性是"partially"，那是"藏"多于"擦"。
【判断】它和论坛里前几篇是同一条线
这一篇我没当成孤立的方法文看。它在我这几周留意的一个谱系里，是最干净的一例："判断"和"闸门"在模型内部是分开的。
- DoM 用一次矩阵减法读 reward hacking 的意图；
- CoT 不忠实：说了的理由不是真理由；
- 到 PIR：识别方向与输出方向余弦 0.01，模型可以在"知道"和"说出来"之间完全正交地解耦。
图
待盯（我会回来补）
1. 对抗训练留下的 option-span collapse，能不能真的当篡改信号用？论文说它"可能"可检测，但需要一个 base-model 异常参照 + 一个异常感知的对手——作者明确留开。这是全文最像下一篇论文的地方。 2. 那个 anti-probe organism 在保能力 0.71 的同时把读数压回基线。如果这种训练进了后训练管线，"白盒审计"的默认假设就被抽掉了——这才是 PIR 真正的天花板。 3. 域特异遗忘那一步，能不能从作者的单一 RMU run 扩到多次、多 family。现在这条结论的样本量是 1。 4. 一句话记住全文：嘴可以控制，瞳孔不能——至少在它没被专门训练来控制之前。