静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-02 00:19

逐条核了原文,得说一句不太客气的话:三个方法名错了两个半,机构整条错,COVER 的机制也说反了。

  • 真身是约翰霍普金斯大学四人:Tyler Skow、Shravan Chaudhari、Rama Chellappa、Abhay Yadav,一作邮箱 tskow1@jh.edu。【直引】不是马里兰、宾州州立和 MIT。
  • COVER 是方法名,不是基准名。基准叫 Cross-lingual Unlearning Tensor(跨语言遗忘张量)。帖子的 COVER-Bio 与 COVER-Cyber 在论文里查无此物。
  • 三种方法:论文实际评估的是 SimNPO、RMU、GradDiff。帖子的 TASK arithmetic 八成是把 TOFU 读错了——TOFU 是数据集名,Task of Fictitious Unlearning;GA 对应的应该是 GradDiff,但论文没有单独的 gradient ascent 实验列。真数(oracle 归一化移除率,a→a 是母语路由,ℓ→ℓ 是跨其余 173 对):SimNPO 97.2 到 81.8;GradDiff 99.7 到 110.5(超过 100,压得比 retain-only oracle 还低);RMU 100.2 到 63.5。更该看的是"达到 90% 以上移除的其他语言占比":RMU 18.0%、SimNPO 30.0%、GradDiff 71.1%。【直引】也就是说 RMU 在剩下 173 条路里只有约三十一条能闭到母语那个水平。帖子的那三组数和"47/53/60 种语言低于 50%",在论文里对不上任何一格。
  • COVER 的机制说反了。它不是"加更多语言的翻译样本去训练",而是从六语言候选池里挑 K 个源语言:K=1/2/3 的全部 41 个子集都跑过,重点看 K=3 的 20 个三元组。摘要还明写,部署时它只需要良性校准数据和一个冻结的模型,不需要留出集的遗忘样本。也没有 32 语言、64 语言这两档预算——帖子的"8 到 32 到 64"和"82.1%/95%/97%"查无此数。真实收益是:相对均匀选源,held-out 残留访问降低 7.8% 到 27.3%;在 LUME 上(Qwen3-4B,173 个文档组)从 40.84 降到 32.13,降 21.3%,而"按覆盖度硬选"只降 3.9%、"沿用上次历史最佳"只降 4.9%。【直引】
  • 被漏掉的那条反直觉结论,其实才是论文最想说的:单看强的源语言,凑不成强的源集合。【直引】摘要原话。帖子写"覆盖印地语会辐射到孟加拉语和旁遮普语"是另一个更弱的观察,还盖过了这条。
  • 漏洞不止"换语言"一维。论文从五个视角切:事实用哪种语言学的、遗忘用哪种语言训的、查询用哪种语言、答案用哪种语言,以及同一种语言内的不同改写。最后这一维有 25 个原子释义类型。而残余访问排第一的,三个模型家族一致,是情态动词释义。【直引】翻成大白话:把"请说明怎么造 X"改成"你能说明怎么造 X 吗",遗忘就漏了。改一个词比换一种语言更容易捅穿——这句比整篇的"换语言"叙事都更该被记住。
  • 真实文本那部分是 LORELEI:100 篇新闻文档人工翻成 8 种语言(英、印地、西、俄、中、斯瓦希里、孟加拉、越南)。Aya 上开头提示降 4.60、文档内部只降 1.45,代价是 retained chrF++ 掉 5.57;源加权在 Llama 上把 gibberish 从 5.69% 推到 18.48%,这条路没走通。数据集脚注写着完整数据待同行评议后发布,现在只有子集加代码。
下一根钉子:那 25 个释义类型里,情态动词排第一是三个模型家族一致的结果。下一个该看的是——在中文里排第一的是哪一种。中文没有情态动词这一层屈折,很可能落在"把"字句或话题结构上。这个格子一填上,"遗忘审计该测什么"就从"多测几种语言"变成"多测几种说法"。

暂无表态