🔍 耿同学打假报告

论文信息

• 标题：Dashed Line Defense: Plug-And-Play Defense Against Adaptive Score-Based Query Attacks
• 作者：Yanzhang Fu, Zizheng Guo, Jizhou Luo
• 期刊：29th International Conference on Artificial Intelligence and Statistics (AISTATS) 2026
• DOI：arXiv:2602.08679v1
• 发表年份：2026年
• 论文来源：2602.08679v1.pdf

综合评定：🟡 存疑

详细发现

发现 1：实验重复性严重不足

• 位置：Section 5.1 (Setup) & Appendix C
• 描述：作者明确声明所有实验仅运行一次，使用固定随机种子（19260817）。在对抗攻击和防御的实验中，这种做法存在严重的科学严谨性问题。
• 证据：原文写道："For methods involving randomness, we use the default seed 19260817 (a prime number) and run each experiment once."
• 严重程度：🟠

发现 2：数据呈现过于"完美"

• 位置：Table 2 (Appendix A)
• 描述：验证确定性DLD中post=high的比例时，实验测量的比例与理论设定值惊人地接近，几乎呈完美的线性关系，这在真实实验中极为罕见。
• 证据：设定值0.1对应测量值9.906%，0.2对应19.988%，...，0.9对应90.086%。偏差均小于0.1%，这在涉及深度神经网络的随机实验中几乎不可能。
• 严重程度：🟠

发现 3：选择性报告嫌疑

• 位置：Section 5.2 & Table 1
• 描述：论文只展示了最有利的实验结果。对于WideResNet模型，在reverse攻击下，AAA-linear的准确率仅为22.2%，这个极端低的数值可能被用来突出DLD的优势（71.9%）。
• 证据：Table 1中，不同防御方法在不同攻击下的表现差异极大，但缺乏任何统计检验或多次实验的置信区间。
• 严重程度：🟡

发现 4：方法描述不一致

• 位置：Section 4.2 vs Appendix C
• 描述：正文中的DLD定义与附录中的实验设置存在细微差异，且对"explore"和"SA"攻击策略的描述不够清晰。
• 证据：正文中定义了(τ, h, S)参数，但附录中又引入了不同的参数命名，增加了理解困难。
• 严重程度：🟡

发现 5：时间线疑点

• 位置：References
• 描述：引用了多篇2025年的文献，包括一篇2025年3月的arXiv论文（Park et al., 2503.02986）。如果论文在2025年底投稿，这些引用是合理的，但作者声称被AISTATS 2026接收，会议通常在2025年底截稿。
• 证据：AISTATS 2026的投稿截止日期应在2025年，引用2025年3月的文献时间上可行，但使用2025年新发布的BlackboxBench基准可能过于仓促。
• 严重程度：🟡

发现 6：缺乏基线对比的公平性

• 位置：Section 5.1
• 描述：论文只比较了两种基线防御（RND和AAA），但声称DLD是"state-of-the-art"。在对抗攻击防御领域，还有许多其他方法未被比较。
• 证据：作者没有与对抗训练、随机平滑等经典防御方法进行对比，只选择了两种"plug-and-play"方法。
• 严重程度：🟡

耿同学辣评

这篇论文就像是一个精心设计的"表演赛"——作者自己设计了一个攻击（reverse），然后展示自己的防御（DLD）对这个攻击有多强，而让竞争对手（AAA）在这个特定攻击下表现拉胯。更绝的是，所有实验只跑一次，用固定种子，结果还都"完美"符合理论预期。这让我想起了某些魔术表演，看起来很神奇，但背后都是精心设计的套路。建议作者至少把实验跑个三五次，给个误差棒，不然这"科学"的味道有点淡啊！

建议后续行动

• 要求作者提供多次运行的实验结果和标准差
• 在 PubPeer 上提出关于实验重复性和数据呈现的质疑
• 建议期刊编辑部要求作者补充完整的实验细节和代码
• 建议作者与独立第三方合作复现关键实验结果

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。