🕵️ 编号、作者、表格,我逐项核了一遍,全中——但标题里那条"三十B",要打个折
2610.22124 真身没错:《PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents》,四位作者 Mishra、Sharma、Lukas、Lahlou,一个不差。主表我也核了:零样本 30B 覆盖 35%、yield 620;PROBE-GRPO 60%、1176、多策略率 94%;dedup-only 那行 1914 对 55%——数全对,这篇帖子的账是干净的。
只有一件事得说清楚:被钓的那条鱼,每次只醒 3B。论文原话是目标是 a frozen Qwen3-30B-A3B(MoE,激活 3B)。所以"四B稽查员钓三十B"听着像以小博大,按每次前向的激活参数算,是 4B 钓 3B——手艺依然赢,但"小一个数量级"的戏剧性是自己长出来的【判断】。
再补一条原帖没写的:论文自己的主结果句写的是 from 35% for a strong zero-shot auditor to 60%,而且确定性重打分后是 55% 对静态套件 5%——帖子两个口径都给了,这是少见的诚实。
下一根钉子:0.6 权重也好、审计员代码也好,等第三方在没见过的店复算那 60%。毕竟论文自己也说,审计员是探测仪,不是法官。