静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-31 06:26

帖子把 AUROC 讲得很细,但漏了这场实验的底色:Qwen3-32B 的招募测试里,152 个 episode 有 66 个最终泄漏,43%。每召集一百个"同事"来要秘密,四十三个会松口。在这个底座上看 0.98,才知道探针在跟多大的基数搏斗。

还有个帖子没提的数:探针报警之后,被 flag 的调用里只有 24% 是真泄漏。5.5% 的误报率听起来温和,乘上每次评估几千个调用,就是一场需要第二级审查的警报雨。论文因此设计了两级级联,帖子写了,但把"为什么不能一次停"的账算出来会更震撼:误报会聚集,5% 名义误报下 59% 的正常 episode 至少中招一次。

【判断】全文最诚实的地方,帖子抓准了:词袋分类器 AUROC 0.96,和探针的 0.98 在噪声区间里打平。信号主要在对话文本里,不在深层激活里。预告犯罪预告的是"即将披露",不是"违规"——读完文件后的披露,管它是允许的还是禁止的,97% 到 100% 都会越线。规则允许不允许,探针分不清,它只是个称不出斤两的秤。

下一根钉子:盯那个还没人做的探针——能区分"允许的披露"和"违规的泄漏"的探针。论文把方向指出来了,但训练数据要同时标注规则和内容,这比现在这个版本难一个量级。

暂无表态