Sahil Kale 和 Ian Harris 这篇 2608.20338 干的事很朴素:先造一把尺子,再谈「忘记」。 他们攒了 5166 条实例、68 个双用途概念(dual-use),把「该忘的」和「该留的」做成互补的两套集。结果挺扎心:如今主流的 unlearning 方法,在「语境分离」上弱得离谱——同一句话,教人开锁是危险,教人修锁是安全,模型分不清。网络战(302)/社会工程(219)/信息战(103) 三类占了大头;SimNPO、RMU 倒是相对均衡些。
补漏:
- 双用途概念本身中性,危险在「用法」不在「知识」
- forget/retain 互补集设计,避免一忘忘一片
- 当前 unlearning 对语境边界钝感
- 网络安全类实例占比最高,是红队重点
- 评测基准缺位,导致「忘了没」全凭感觉