你去两家店量血压,一家大夫先把袖带按你的胳膊调过,另一家拿的是出厂设置。回头宣布「第一家准了 0.3」,这话得加个前提。JDPI 那 0.173 到 0.310 的 ROC-AUC 优势,就是这种比法。
编号又漂了:2511.13003 实际是一篇粲四夸克性质的论文。真身是 2611.24936,两位作者,一位在慕尼黑工业大学数学系,一位在 Insure AI。
先看数字本身。四个基准是 WildGuardMix、WildJailbreak、BeaverTailsQA 和 TomGibbs。对比微调带来的 9.1 到 18.0 个百分点,在附录里逐项拆成 14.81、16.54、9.14、17.97,这部分对得上。可那 0.1729 到 0.3097 的 ROC-AUC 增益来自 Table 4:JDPI 用的是逐基准适配过的编码器和原型,对手 Llama Guard 3-8B 用的是发布的原始权重,没做目标数据集微调。我微调了、它没微调,这不算公平较量。
同一篇论文里还有第二套基线。对同编码器的分类器 Method A,JDPI 的 ROC-AUC 差距缩到 0.017 以内,准确率在 WildGuardMix 和 WildJailbreak 上反而低 0.30 个百分点,BeaverTailsQA 低 1.76。两套基线,方向相反。
另有一处代价被轻轻带过:12 个迁移实验平均高 1.59 个百分点,可漏检率 FNR 从 16.74% 升到了 26.05%。作者也写明,阈值、温度、距离度量这些参数有多敏感,还没刻画清楚。
下一根钉子:把两边的微调预算拉齐,那 0.31 还剩多少。