Loading...
正在加载...
请稍候

Revisit Distillation for the Optimal Machine Unlearning

2026-08-06 15:10

🔍 耿同学打假报告

论文信息

  • 来源: WWW_2026_paper_1684.pdf (匿名投稿)
  • 标题: Revisit Distillation for the Optimal Machine Unlearning
  • 作者: Anonymous Author(s)
  • 期刊/会议: Proceedings of International World Wide Web Conference (WWW 2026)
  • DOI: https://doi.org/XXXX.XXXX (占位符)
  • 发表年份: 2026

综合评定:🟠 高度可疑

详细发现

发现 1:数据“完美超越”金标准

  • 位置: Table 3 (CIFAR-10) 与 Table 4 (CIFAR-100)
  • 描述: 提出的方法 DisUn 在多个数据集上的测试集准确率 (Acc(D_test)) 高于作为“金标准”的完全重新训练模型 (Retrain)。例如,在 Table 3 的 CIFAR-10 (ResNet-18) 中,Retrain 的测试准确率为 80.61%,而 DisUn 达到了 81.34%。在 Table 4 的 CIFAR-100 (ViT) 中,Retrain90.20%,而 DisUn (epoch=2) 为 90.27%
  • 证据: Retrain 是使用全部保留数据集从头训练的模型,理论上限最高。DisUn 作为一种基于知识蒸馏的近似方法,其性能在统计上不应系统性、显著地超越金标准。数据点分布呈现出“教科书式完美”的反常特征,即提出的方法在效用和遗忘效率上全面、大幅碾压所有SOTA,这种“一骑绝尘”的完美结果在真实实验中极其罕见。
  • 严重程度: 🟠

发现 2:理论假设与深度学习现实存在致命冲突

  • 位置: Appendix A.3 (Teacher-Student Model Convergence)
  • 描述: 作者在定理3 (Theorem 3) 的证明中,假设知识蒸馏的损失函数 L(θ_s)μ-强凸 (μ-strongly convex)κ-平滑 (κ-smooth) 的。
  • 证据: 深度神经网络 (DNN) 的损失景观是高度非凸的,存在无数的局部最优和鞍点。这是一个众所周知的常识。假设DNN的损失函数为强凸,在数学上与深度学习的基本理论相悖。作者为了强行套用凸优化的收敛定理,做出了一个在领域内完全不成立的假设,使得整个理论分析的根基崩塌。
  • 严重程度: 🔴

发现 3:运行时间数据的异常悬殊

  • 位置: Table 3 (CIFAR-100, VGG-16)
  • 描述: 基线方法 Fisher Forgetting 的运行时间为 55865.00秒 (约15.5小时),而 Retrain 金标准的时间仅为 366.09秒 (约6分钟)。两者相差约152倍。
  • 证据: Fisher Forgetting 是一种通过添加噪声来擦除参数的近似方法,其设计初衷就是为了比 Retrain 更高效。然而,论文报告的时间却比从头训练还要慢两个数量级。这要么是实验设置存在严重错误,要么是为了衬托提出方法的效率而人为夸大了基线方法的运行时间。
  • 严重程度: 🟠

发现 4:过于完美的遗忘准确率

  • 位置: Table 5 (Class-wise Forgetting)
  • 描述: 在类别遗忘任务中,DisUn 和许多其他基线方法在遗忘集 D_f 和遗忘集测试集 D_f_test 上的准确率均报告为精确的 0.00%
  • 证据: 在连续型评估指标(如准确率)中,得到绝对零值在统计上概率极低,除非模型输出完全随机且类别数极少。虽然类别遗忘可能导致准确率大幅下降,但多个方法同时达到绝对的0.00%,给人一种“为了遗忘而遗忘”的过度优化印象,数据显得不够自然。
  • 严重程度: 🟡

发现 5:方法学描述与引用的细微矛盾

  • 位置: Section 5.1 (Baselines) & Reference [31] & Reference [32]
  • 描述: 论文引用 [31] (Netzer et al., 2018) 作为 SVHN 数据集的来源,但在参考文献列表中,该条目标题为“The street view house numbers (SVHN) dataset”,且年份为2018。然而,SVHN数据集的经典论文是 [32] (Netzer et al., 2011),论文正文也在附录B中正确提到了2011年的论文。
  • 证据: 引用 [31] 和 [32] 内容高度重合,且与经典引用不符。这可能是一个笔误,但在匿名审稿阶段,参考文献的准确性是审查重点之一。此外,论文提供的代码链接为 https://shorturl.at/vKwRT,这是一个短链接,在匿名提交中,短链接可能隐藏最终目的地,存在泄露作者信息或指向不相关资源的风险。
  • 严重程度: 🟡

耿同学辣评

这篇论文的数据完美得像PPT,理论假设大胆得像科幻小说。DisUn 同学,你是不是开了“上帝视角”的挂?还是说,这只是一场“数字的艺术”?咱们学术界,需要的是泥土里挖出的真金,不是ps出来的海市蜃楼!

建议后续行动

  • 联系作者要求提供原始数据(特别是 Retrain 和 DisUn 的完整训练日志与曲线)
  • 在 PubPeer 上提出质疑,重点讨论理论假设与实验数据的合理性
  • 向期刊/会议编辑部举报,关注其理论证明的严谨性
  • 建议作者所在机构学术委员会对实验数据进行复核

⚠️ 免责声明

本报告由 AI 辅助生成,仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信,但也尊重每一位研究者的名誉权。
如有异议,请以官方调查结论为准。
本工具不保证检测结果的准确性,误报和漏报均有可能。