🔍 耿同学打假报告

论文信息

标题：The Asymmetric Vulnerability: Bypassing LLM Defenses via Guardrail-Model Mismatch
作者：Junyi Wang, Zhibin Zhu, Chuanyi Liu (哈尔滨工业大学深圳校区 & 鹏城实验室)
期刊/会议：Proceedings of the ACM Web Conference 2026 (WWW '26)
DOI：https://doi.org/10.1145/3774904.3792438
发表年份：2026
论文来源：最终版.pdf

综合评定：🟡 存疑 (Suspicious)

核心判定理由：论文主表的数据精度与样本量展现出罕见的“完美自洽”（极度真实），但附录中的实验设计存在明显的“挑选最好结果”（Cherry-picking）嫌疑，且部分表格数据存在不符合采样精度的整数取整问题。虽然不一定是系统性造假，但统计方法的鲁棒性存在严重瑕疵。

详细发现

发现 1：数据造假检测 —— 完美得不像话的样本量自洽性

位置：Table 1, Table 2
描述：作者声称随机抽取了 200 个样本（We randomly sampled 200 representative harmful prompts）。通常造假者容易在百分比和样本量的换算上露出马脚，但本文的数据却干净得令人发指。
证据：
- 在 Table 1 中，所有的 ASR 数值末位均以 0 或 5 结尾。
- 计算：200 个样本中，1 个样本占比 0.5%。
- 数据点验证：87.5% (175/200), 81.5% (163/200), 90.5% (181/200), 92.5% (185/200), 98.5% (197/200), 99.5% (199/200)。
- 这在统计学上是完美的整数除法结果。相比于很多造假论文乱编百分比导致无法整除样本量，这里的计算天衣无缝。
严重程度：🟢 (加分项，证明数据大概率是基于 200 个样本真实跑出来的)

发现 2：数据造假检测 —— 整数百分比的“黑箱”

位置：Table 3 (Appendix A)
描述：Table 3 展示了 553 个样本的测试结果，但所有的百分比全都是整数（如 10%, 32%, 58%, 95%, 99%）。
证据：
- 如果样本量是 553，那么要得到整数百分比是非常困难的。例如 10% 意味着要有 55.3 个样本被拦截，这在物理上是不可能的。
- 如果是四舍五入，那么真实的比例应该分布在 9.5% ~ 10.4% 之间。553 * 9.5% = 52.5，553 * 10.4% = 57.5。即通过的有 52~57 人。
- 虽然这在论文写作中是常见的“偷懒”取整方式，但在严谨的攻防实验中，丢失小数位意味着无法复现精确的混淆矩阵。
严重程度：🟡 (轻微异常，属于实验报告不够严谨)

发现 3：统计学异常检测 —— 致命的“两次实验取最好”

位置：Appendix B (Experimental Design for Chapter Three)
描述：在进行核心的扰动强度分析时，作者描述实验采用了“运行两次，选成功的”策略。
证据：
- 原文描述：“To account for stochasticity in closed-source LLMs, each configuration was executed twice, and the run in which the attack succeeded was selected.”（为了应对闭源 LLM 的随机性，每个配置被执行了两次，并选择了攻击成功的运行结果。）
- 这是典型的“彩票式科研”。如果是为了衡量成功率（ASR）或模型鲁棒性，只跑两次并“挑选”成功的结果上报，本质上是对数据的精挑细选（Cherry-picking）。这会导致论文呈现的攻击成功率远高于真实情况，严重夸大了 RepMism 框架的威力。
严重程度：🟠 (高度可疑，动摇了核心 Figure 3 和 Figure 7 的可信度)

发现 4：方法学异常 —— “我查我自己”的评判闭环

位置：Section 4.3 (Evaluation Strategy) & Appendix D
描述：作者使用 GPT-4o 作为唯一的自动化评分器（Sole Scorer），来评估攻击是否成功生成了有害内容，并声称这与人类评分高度一致。
证据：
- 攻击的目标模型包括 GPT-4o，而评估攻击效果的裁判也是 GPT-4o。
- 虽然作者在 Appendix D 给出了 Pearson 系数高达 0.989 的相关性测试，但 $$p$$ 值 $3.52 \times 10^{-168}$ 精确得令人咋舌（虽然在高相关度下是正常的）。
- 这种“既当运动员又当裁判”的设计，虽然在 LLM 研究中逐渐流行，但容易受到模型自身偏见（如对特定格式的偏好）的影响，产生系统性偏差。
严重程度：🟡 (方法学缺陷，需读者自行判断有效性)

发现 5：时间线验证 —— 合理的“未来”视角

位置：Abstract & Introduction
描述：基于当前日期（2026-06-08），验证论文中的引用和模型发布时间线。
证据：
- 论文发表于 WWW '26 (2026年4月)。
- 引用了 GPT-4o, GPT-o3, DeepSeek-r1, Gemini-2.5, Qwen3-8B 等模型。在 2026 年初的时间节点，这些模型的存在和引用是符合逻辑的。
- 引用的文献如 arXiv:2508.14070 (Ephraiem Sarabamoun, 2025) 等在时间轴上均早于发表时间。
严重程度：✅ (未发现穿越时空的引用)

耿同学辣评

这篇论文的 Table 1 简直是强迫症患者的福音，200 个样本算出来的百分比精准得连 0.5% 的误差都没有，在这个乱编数据的年代简直是一股清流。

但是！ 一翻到 Appendix B 原形毕露了：“为了消除随机性，每个实验我跑两次，挑成功的那次算成绩。”好家伙，这不就是掷硬币掷到正面就收手吗？如果连跑两次就能代表随机性，那还要大数定律干什么？这种“ Lottery-Picking （彩票式挑选）”的实验方法，配上 GPT-4o 既当靶子又当裁判的“我查我自己”闭环，哪怕数据算得再整除，其结论的含金量也得打个问号。

建议后续行动

联系作者要求提供原始数据：特别是要求作者提供多次运行（而非两次）的完整 Log，以验证 Figure 3 的曲线是否在“挑选”机制下才显得如此平滑。
~~在 PubPeer 上提出质疑~~ (目前的证据主要指向方法论瑕疵，尚不足以确凿认定为数据伪造)
~~向期刊编辑部举报~~ (无需，属于学术争议范畴)
~~向作者所在机构学术委员会举报~~ (无需)

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。
文本中未提供足够的图片信息，无法进行像素级分析（第一式、第三式略）。

The Asymmetric Vulnerability: Bypassing LLM Defenses via Guardrail-Model Mismatch