🔍 耿同学打假报告

论文信息

标题：On the Zero-shot Adversarial Robustness of Vision-Language Models: A Truly Zero-shot and Training-free Approach
作者：Baoshun Tong, Hanjiang Lai, Yan Pan, Jian Yin
单位：中山大学
期刊/会议：CVPR 2025
论文来源：Tong_On_the_Zero-shot_Adversarial_Robustness_of_Vision-Language_Models_A_Truly_CVPR_2025_paper.pdf
当前检测日期：2026-06-15

综合评定：🟠 高度可疑

(注：由于只提供了文本，无法进行Western blot等湿实验图片检测。但在深度学习与对抗攻击领域的“干实验”中，发现了严重违背常理的数据异常。)

详细发现

发现 1：违背常理的“攻防悖论”（干实验数据造假/严重失误）

位置：Table 2 与 Table 3
描述：作者在 Table 2 中报告了模型在 PGD-10 攻击下的鲁棒性准确率（平均 41.72%）；而在 Table 3 中，报告了模型在 AutoAttack 攻击下的鲁棒性准确率（平均 44.79%）。
证据：在对抗机器学习领域，AutoAttack 是目前公认的“金标准”级攻击手段，它是多种强攻击（如 APGD、FAB、Square 等）的集合，其攻击破坏力与成功率远超单一的 PGD-10。任何正常的防御模型，在 AutoAttack 下的准确率必然显著低于 PGD-10。但这篇论文在 16 个数据集中，几乎每一个数据集的 AutoAttack 准确率都高于 PGD-10 准确率！
- 例如：CIFAR10 在 PGD-10 下为 63.72%，在 AutoAttack 下居然高达 73.54%。
- 这就好比一个学生做期中考试卷（PGD-10）考了 60 分，做更难的高考卷（AutoAttack）却考了 73 分，这违背了基本的科学常理！
严重程度：🔴（如果这不是笔误，那就是极其严重的实验逻辑造假或评价指标存在根本性错误）

发现 2：梯度掩码的嫌疑

位置：Section 3.2 (Construct the anchor) 及 Table 3
描述：作者提出的方法本质上是“加高斯噪声”加上“特征空间的线性插值”。
证据：在对抗防御中，“加噪声”和“特征平滑”是典型的容易引起 Gradient Masking（梯度掩码） 的操作。模型表面上显得很“鲁棒”，实际上是因为攻击者无法获取到正确的梯度信息，导致 PGD 攻击“打偏了”。虽然作者声称使用了 AutoAttack（理论上能破除部分梯度掩码），但结合发现 1 中 AutoAttack 准确率反常升高的现象，高度怀疑其防御机制依然存在严重的梯度掩码现象，导致 AutoAttack 提前终止或失效。所谓的 SOTA 性能可能是“虚假防御”。
严重程度：🟠

发现 3：缺失的方差与重复实验

位置：Table 1, Table 2, Table 3
描述：所有数据均以单一的精确数值呈现（如 41.72%, 44.79% 等），没有任何标准差或置信区间。
证据：作者在方法部分（Eq. 4, Eq. 5）明确提到，构建 anchor 时需要 $$n$$ 次添加随机高斯噪声。既然引入了高斯随机采样，每次运行的结果必然会有波动。在严谨的 AI 实验中，引入随机性的实验必须报告多次独立运行的平均值和标准差（如 $41.72 \pm 0.5$ ）。完全没有方差报告，让人怀疑这些数据是精心挑选的单次“幸运”结果，甚至是手填上去的。
严重程度：🟡

发现 4：排版格式与文本提取的异常遗漏

位置：Introduction 段末尾（Contributions 部分）
描述：论文的核心贡献部分竟然是三个没有开头的半句话。
证据：文本显示：
- “• noise to adversarial examples can weaken their impact...”
- “• bustness method (AOM) that constructs a linear path...”
- “• der various attack methods, and the results show...”
  显然，PDF 在解析或原文排版时丢失了关键的动宾结构。虽然可能是工具提取文本时的切断，但也反映出该论文可能排版仓促。结合当前日期（2026年），这篇标称为 CVPR 2025 的论文如果已经发表，这种低级错误是不应该出现的。
严重程度：🟡

耿同学辣评

好家伙，我现在算是明白了，别人发论文是打怪升级，这位同学发论文是直接改游戏代码！AutoAttack 是 PGD 的究极进化形态，结果在你这儿，越强的攻击打你掉血越少？你这不是防御模型，你这是吸星大法啊！ 把所有强攻击的梯度给屏蔽了，或者干脆把卷子改了，然后大喊一声：“你看，我零样本天下第一！” 咱就是说，做深度学习的，随机数生成器都不带这么忽悠人的。

建议后续行动

检查原始代码与日志：强烈建议要求作者开源代码，并检查其 AutoAttack 的调用方式（是否关闭了攻击循环、是否设置了错误的 epsilon 值）。
在 PubPeer 上提出质疑：直接指出 Table 2 和 Table 3 的数值倒挂问题。
呼吁独立第三方复现：使用官方 AutoAttack 库对作者提供的模型权重进行重新测试，验证是否存在 Gradient Masking。

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。我们支持学术诚信，但也尊重每一位研究者的名誉权。如有异议，请以官方调查结论为准。本工具不保证检测结果的准确性，误报和漏报均有可能。

On the Zero-shot Adversarial Robustness of Vision-Language Models: A Truly Zero-shot and Training-free Approach