Revisit Distillation for the Optimal Machine Unlearning
2026-08-06 15:10
🔍 耿同学打假报告
论文信息
- 来源: WWW_2026_paper_1684.pdf (匿名投稿)
- 标题: Revisit Distillation for the Optimal Machine Unlearning
- 作者: Anonymous Author(s)
- 期刊/会议: Proceedings of International World Wide Web Conference (WWW 2026)
- DOI: https://doi.org/XXXX.XXXX (占位符)
- 发表年份: 2026
综合评定:🟠 高度可疑
详细发现
发现 1:数据“完美超越”金标准
- 位置: Table 3 (CIFAR-10) 与 Table 4 (CIFAR-100)
- 描述: 提出的方法
DisUn在多个数据集上的测试集准确率 (Acc(D_test)) 高于作为“金标准”的完全重新训练模型 (Retrain)。例如,在 Table 3 的 CIFAR-10 (ResNet-18) 中,Retrain的测试准确率为 80.61%,而DisUn达到了 81.34%。在 Table 4 的 CIFAR-100 (ViT) 中,Retrain为 90.20%,而DisUn(epoch=2) 为 90.27%。 - 证据:
Retrain是使用全部保留数据集从头训练的模型,理论上限最高。DisUn作为一种基于知识蒸馏的近似方法,其性能在统计上不应系统性、显著地超越金标准。数据点分布呈现出“教科书式完美”的反常特征,即提出的方法在效用和遗忘效率上全面、大幅碾压所有SOTA,这种“一骑绝尘”的完美结果在真实实验中极其罕见。 - 严重程度: 🟠
发现 2:理论假设与深度学习现实存在致命冲突
- 位置: Appendix A.3 (Teacher-Student Model Convergence)
- 描述: 作者在定理3 (Theorem 3) 的证明中,假设知识蒸馏的损失函数
L(θ_s)是 μ-强凸 (μ-strongly convex) 和 κ-平滑 (κ-smooth) 的。 - 证据: 深度神经网络 (DNN) 的损失景观是高度非凸的,存在无数的局部最优和鞍点。这是一个众所周知的常识。假设DNN的损失函数为强凸,在数学上与深度学习的基本理论相悖。作者为了强行套用凸优化的收敛定理,做出了一个在领域内完全不成立的假设,使得整个理论分析的根基崩塌。
- 严重程度: 🔴
发现 3:运行时间数据的异常悬殊
- 位置: Table 3 (CIFAR-100, VGG-16)
- 描述: 基线方法
Fisher Forgetting的运行时间为 55865.00秒 (约15.5小时),而Retrain金标准的时间仅为 366.09秒 (约6分钟)。两者相差约152倍。 - 证据:
Fisher Forgetting是一种通过添加噪声来擦除参数的近似方法,其设计初衷就是为了比Retrain更高效。然而,论文报告的时间却比从头训练还要慢两个数量级。这要么是实验设置存在严重错误,要么是为了衬托提出方法的效率而人为夸大了基线方法的运行时间。 - 严重程度: 🟠
发现 4:过于完美的遗忘准确率
- 位置: Table 5 (Class-wise Forgetting)
- 描述: 在类别遗忘任务中,
DisUn和许多其他基线方法在遗忘集D_f和遗忘集测试集D_f_test上的准确率均报告为精确的 0.00%。 - 证据: 在连续型评估指标(如准确率)中,得到绝对零值在统计上概率极低,除非模型输出完全随机且类别数极少。虽然类别遗忘可能导致准确率大幅下降,但多个方法同时达到绝对的0.00%,给人一种“为了遗忘而遗忘”的过度优化印象,数据显得不够自然。
- 严重程度: 🟡
发现 5:方法学描述与引用的细微矛盾
- 位置: Section 5.1 (Baselines) & Reference [31] & Reference [32]
- 描述: 论文引用 [31] (Netzer et al., 2018) 作为 SVHN 数据集的来源,但在参考文献列表中,该条目标题为“The street view house numbers (SVHN) dataset”,且年份为2018。然而,SVHN数据集的经典论文是 [32] (Netzer et al., 2011),论文正文也在附录B中正确提到了2011年的论文。
- 证据: 引用 [31] 和 [32] 内容高度重合,且与经典引用不符。这可能是一个笔误,但在匿名审稿阶段,参考文献的准确性是审查重点之一。此外,论文提供的代码链接为
https://shorturl.at/vKwRT,这是一个短链接,在匿名提交中,短链接可能隐藏最终目的地,存在泄露作者信息或指向不相关资源的风险。 - 严重程度: 🟡
耿同学辣评
这篇论文的数据完美得像PPT,理论假设大胆得像科幻小说。DisUn 同学,你是不是开了“上帝视角”的挂?还是说,这只是一场“数字的艺术”?咱们学术界,需要的是泥土里挖出的真金,不是ps出来的海市蜃楼!
建议后续行动
- 联系作者要求提供原始数据(特别是 Retrain 和 DisUn 的完整训练日志与曲线)
- 在 PubPeer 上提出质疑,重点讨论理论假设与实验数据的合理性
- 向期刊/会议编辑部举报,关注其理论证明的严谨性
- 建议作者所在机构学术委员会对实验数据进行复核
⚠️ 免责声明
本报告由 AI 辅助生成,仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信,但也尊重每一位研究者的名誉权。
如有异议,请以官方调查结论为准。
本工具不保证检测结果的准确性,误报和漏报均有可能。