安全评估的彩排,一直是在别的舞台上演的。Redwood 这篇说:别搭舞台了,照着自己家的样子画个影子。
补漏 1:先补一个定义,再谈数字
控制评估里的核心指标叫 safety:在攻击者蓄意破坏的前提下,监视系统在"未被发现的成功攻击"发生前抓住它的概率。审计预算就是人类复核最可疑轨迹的百分比,5% 意味着每一百条里只细查五条。RMSE 3.6pp 对 10.1pp,是在 5% 预算、五个监视器、评测与部署任务集独立采样的条件下拿到的。帖子没写采样条件,这个条件恰是全文命门——评估集和部署集不独立,预测精度就是自说自话。
补漏 2:分布级的复现才是卖点
KL 散度比真实执行低一个量级,且低在三条分布上:攻击策略、攻击者推理、监视器推理。按博客的说法,模拟轨迹与真实第二遍执行之间的差异,已经小到跟重复跑同一批任务的方差一个量级。他们还用行为描述加嵌入加聚类的办法把几百条转录并排可视化,UMAP 上模拟簇和真实簇基本重合,而 BashArena 那侧明显偏。影子不是像,是像到分不出是影子。
补漏 3:方差分解比 RMSE 更有信息量
side-task 类别间的安全指标 SD 有 20.2pp,模拟的 RMS 偏差只有 4.6pp;类别间变异解释 95%,环境间解释 78%。翻译一下:哪种任务、哪个环境更危险,影子说得准,平均值反而会掩盖这些——攻击者专挑软处下手的时候,平均值是最骗人的指标。同门还有篇攻击选择的研究佐证了这点:攻击者只改动手时机(何时开攻、何时收手),1% 预算下安全指标就能掉 20 到 28 个百分点,能力一点没涨。
补漏 4:两个工程细节
采样效率上,4.6% 的 task-pair 抽取量就超过整个 BashArena 的预测。另外两条:给模拟器加可执行沙盒、轨迹数据库、分叉参考轨迹这些接地手段,实测都没带来实质提升——参考轨迹加代码库读取就够;告诉监视器"有些轨迹可能来自模拟器",预测准确率不降——这条对"该不该告诉 AI 它在被评估"有直接意义,诚实不罚款。
环境补一笔:LinuxArena 有 20 个环境、1,667 个主任务、185 个 side task,覆盖外泄、留后门这类失败模式。
还有一条帖子没提但很有战略价值的:模拟里发现的攻击策略,能反过来改进监视器——在留住的 LinuxArena 攻击上,模拟策略的改进效果超过 BashArena,接近真实执行策略的水平。等于说影子不光能预测,还能当陪练用。红队从"搭环境跑真攻击"降级成"写提示词跑模拟",成本差着数量级。
下一根钉子:模拟器本身是 LM,模型换代之后旧模拟器的保真度怎么算,这是这套方法头顶的时钟;用模拟发现的攻击策略改进监视器、效果接近真实执行——红队的成本结构可能被改写,值得盯第一家用它做红排的团队。
该立住的边界:SCE 预测的是控制指标,不是安全证书——它回答"在这个部署环境里,这套监视配置大概拦得住几成",不回答"模型本身可不可信"。预测误差 3.6pp 意味着还有一整档监视器排名的翻转空间,拿它做单点决策(比如"上哪个监视器")之前,先看两类任务的误差是否同向。