Loading...
正在加载...
请稍候

Attention Is All You Need

2026-10-08 08:50

🔍 耿同学打假报告

论文信息

  • 标题:Attention Is All You Need
  • 作者:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
  • 期刊:NeurIPS (NIPS 2017), Long Beach, CA, USA
  • DOI:无(arXiv:1706.03762v7)
  • 发表年份:2017
  • 论文来源:1706.03762v7.pdf

综合评定:✅ 清白

本文即著名的 Transformer 原始论文,是经全世界数千个团队复现、引用十余万次的里程碑式工作。复核后仅剩 1 处轻微的编辑性不一致(informational),其余机器取证线索均经反方论证后确认为假阳性,全部清除。逐条复核说明如下:

关于 Benford 检验(S1):检验前提不满足。Benford 分布适用于跨数量级的自然测量数据,而本文数值为 BLEU 分数(23.75–41.8,量程极窄)、困惑度(4.33–6.11)、参数量、超参数(512/2048/64 等工程上刻意选择的 2 的幂)、FLOPs 估算值(作者在第 6.1 节脚注中自述为“训练时间 × GPU 数 × 单卡算力”的粗略估算)——首末位分布严重偏离 Benford 完全在预期之内,该检验在此数据类型上不具备取证效力。已清除。

关于列间差值(S2/S3):表格中各行本就是同一模型在不同超参数下的对照实验(如 Table 3 行 (C) 中 d_ff 从 256 到 1024 的系统性扫描),数值相近或呈规律性变化正是合理的消融实验结果。已清除。

关于图像取证(I1–I20):经视觉审查确认,本文全部“图像”均为矢量示意图(模型架构图 Figure 1–2)与注意力热力图(Figure 3–5),不含任何实验照片(无 Western blot、凝胶、显微照片)。copy-move 命中点的偏移量(如 (0,64)、(0,32)、(32,0))恰好对应注意力热力图中规则网格单元的平移周期与 pad 对齐的行列结构,属示意图规则重复元素的典型假阳性;noise_variance 异常对应图像中文字/线条密集区与空白区的天然噪声差异;PRNU 检验是为相机拍摄照片设计的,对同一软件渲染导出的示意图完全无意义,且论文并未声称任何图像来自“不同设备/批次拍摄”,不存在 PRNU 证据的适用前提。视觉摘要亦确认无实验图像篡改迹象。全部清除。

详细发现

发现 1:正文与摘要/表格数值不一致(轻微)

  • 位置:Section 6.1 vs Abstract / Table 2
  • 描述:正文称 "our big model achieves a BLEU score of 41.0"(英-法任务),而摘要与 Table 2 均报告 41.8。
  • 证据:程序化核验确认三个数据点(41.0、41.8、Table 2 对应行)均在原文命中。这是该论文 v7 版本中已知的编辑性不一致,属于修订遗留的笔误而非数据造假。
  • 严重程度:🟡
  • 复核状态:informational(数值不一致确凿存在,但为编辑笔误,不构成学术不端证据)

发现 2:表格数据核验

  • 位置:Table 2 / Table 3 / Table 4
  • 描述:数值末位分布自然、无整齐 SD、无恒定列差、无 p 值堆集于 0.04–0.05 区间;模型变体(Table 3)呈现真实的非单调噪声(如 h=16 时 BLEU 25.8 反而高于 h=8 的 25.5),这种“不完美”恰是真实实验的特征。
  • 证据:程序化核验 6 个数据点全部命中;方法描述与超参数、时间线(P100 GPU 于 2016 年发布,论文 2017 年发表,训练 3.5 天 × 8 GPU 的描述自洽)均可验证。
  • 严重程度:无异常
  • 复核状态:informational(指向清白的良性观察)

发现 3:图像与时间线核验

  • 位置:Figure 1–5
  • 描述:全部为示意图/注意力可视化,无实验图像,不存在复用、拼接、篡改的可能对象;代码开源链接(tensor2tensor)、硬件参数(8× P100)均可验证,"trained for 3.5 days on eight GPUs" 在原文摘要与 Section 6.1 中均可确认。
  • 证据:视觉摘要确认无 Western blot、显微照片等易篡改图像;机器取证命中经反方论证均系示意图规则结构所致的假阳性(详见综合评定部分)。
  • 严重程度:无异常
  • 复核状态:informational(指向清白的良性观察)

耿同学辣评

这篇“8 个作者排队合著、引用随机排序”的论文,大概是学术界被显微镜式打假照得最亮的一篇——结果人家是真金白银:你拿 Benford 定律去查 BLEU 分数,就好比拿体温计去量 Transformer 的参数量,量不出病,只能量出你工具用错了。全文唯一的“瑕疵”不过是正文一个 41.0 没跟上表格的 41.8,这属于编辑校对问题,不是学术诚信问题。

建议后续行动

  • 无需举报——该论文经受住了全球范围内的海量复现检验
  • 唯一建议:作者可在后续版本中修正正文 41.0 与表格 41.8 的不一致(历史遗留笔误)

⚠️ 免责声明

本报告由 AI 辅助生成,仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信,但也尊重每一位研究者的名誉权。
如有异议,请以官方调查结论为准。
本工具不保证检测结果的准确性,误报和漏报均有可能。