Loading...
正在加载...
请稍候

Attention Is All You Need

2026-08-11 14:15

🔍 耿同学打假报告

论文信息

  • 标题:Attention Is All You Need
  • 作者:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
  • 期刊:31st Conference on Neural Information Processing Systems (NIPS 2017)
  • DOI:未在文本中提供
  • 发表年份:2017
  • 论文来源:1706.03762v7.pdf

综合评定:✅ 清白

详细发现

⚠️ 发现 1:论文类型与图像取证适用范围不匹配

  • 位置:全文
  • 描述:本论文为机器学习/自然语言处理领域的理论性论文,不包含任何生物医学实验图片(无 Western blot、显微镜照片、流式细胞图、统计散点图或柱状图)。论文中的 Figure 1(Transformer 模型架构示意图)和 Figure 2(Scaled Dot-Product Attention / Multi-Head Attention 示意图)为手绘风格的架构图;Figure 3–5 为注意力可视化图。所有"表格"均为文本数字表格(Table 1–4)。机器取证报告中检测到的 copy-move 和 PRNU 同源信号,均来源于论文中规则排版的文本页面(如多面板的注意力可视化 Figure 3–5 中的重复文本行),提示存在排版重复的可能,亦可能由同一 PDF 渲染管线所致,需原始数据进一步确认。
  • 证据:论文全部 12 页内容由文字、数学公式、模型架构示意图和数字表格组成。Figure 3 的 caption 描述其为"encoder self-attention in layer 5 of 6"的注意力可视化,Figure 4/5 同理,均为重复排版文本 token。
  • 严重程度:🟡(说明性,不构成造假证据)
  • 复核状态:⚠️ 存在良性解释(同一论文内排版重复文本行/PDF 渲染管线同源)

发现 2:Benford 检验偏离不适用于本论文数据

  • 位置:Table 1–4
  • 描述:机器取证报告提示 Table 1–4 的数值在第 1–4 位数字上显著偏离 Benford 分布。
  • 证据:Table 1 为算法复杂度的大 O 表示法(如 O(n²·d)),原文明确为大 O 记号而非连续测量值;Table 2 中的 BLEU 分数和 FLOPs 为研究者刻意选择的报告值;Table 3 中的超参数(dmodel=512dff=2048h=8dk=dv=64Pdrop=0.1ϵls=0.1100K 步等)均为整数设计参数。这些数据并非自然产生的跨数量级连续型测量数据,不满足 Benford 检验的前提条件。检验前提不满足,偏离不构成造假证据。
  • 严重程度:🟡(说明性)
  • 复核状态:✅ 成立(前提不成立,结论作为良性解释保留说明)

⚠️ 发现 3:列间差值变化小属于正常的表格结构

  • 位置:Table 2、Table 3
  • 描述:机器取证报告提示 Table 2 和 Table 3 的列间差值变化较小。
  • 证据:Table 2 比较的是不同模型的 BLEU 分数(如 23.75、24.6、25.16、26.03、26.30、26.36、27.3、28.4)和训练 FLOPs,差值反映模型架构差异而非随机噪声;Table 3 的消融实验中部分行仅改变一个变量(如仅改变 h 而保持 dmodel=512 不变),其余列保持不变,差值小是消融实验设计的自然结果。原文 Section 6.2 明确说明该实验目的是"vary the base model in different ways"。
  • 严重程度:🟡(说明性)
  • 复核状态:⚠️ 存在良性解释(消融实验设计本身即要求部分列保持不变)

⚠️ 发现 4:图像取证信号(copy-move / PRNU 同源)的良性解释

  • 位置:img-000 至 img-005(即论文页面图)
  • 描述:机器取证报告在多张图像中检测到 copy-move 匹配块和 PRNU 高度同源信号。
  • 证据:原文无任何涉及图像传感器、拍摄批次或设备来源的声明。Figure 3 caption 为"An example of the attention mechanism following long-distance dependencies in the encoder self-attention in layer 5 of 6",Figure 4/5 同为"layer 5 of 6"的注意力可视化,多面板(top/bottom)由同一可视化算法生成,重复 token 行排列是注意力可视化本身的结构特征。copy-move 检测的偏移量与排版行高/列间距吻合。所有 12 页内容由同一 PDF 编译管线生成,PRNU 同源是同一导出管线的天然结果。所提良性解释(统一导出管线、排版重复)在原文中无正面方法学声明支持(论文方法部分未涉及图像采集),仅为通用推测;但原报告关于"具体偏移像素坐标"等数据点未被原文证实。
  • 严重程度:🟡(说明性)
  • 复核状态:⚠️ 存在良性解释(原文无图像设备声明,copy-move/PRNU 同源信号与论文类型不匹配)

发现 5:统计方法与报告一致性核查

  • 位置:Table 2、Table 3、Table 4
  • 描述:逐一核查论文中报告的所有数值,均与正文描述一致,无内部矛盾。
  • 证据:Table 2 中 Transformer (base) 报告 27.3 BLEU(EN-DE)、38.1 BLEU(EN-FR),Transformer (big) 报告 28.4 和 41.8,与摘要中"Our model achieves 28.4 BLEU on the WMT 2014 English-to-German"和"new single-model state-of-the-art BLEU score of 41.8"完全吻合。Table 3 中 base 模型报告 25.8 BLEU(dev),big 模型报告 26.4 BLEU(dev),均与 Section 6.1 描述一致。Table 4 中 Transformer (4 layers) 在 WSJ only 下报告 91.3 F1,semi-supervised 下报告 92.7 F1,与 Section 6.3 描述一致。
  • 严重程度:🟡(无异常,良性指标)
  • 复核状态:✅ 成立(数据自洽,良性指标)

发现 6:时间线与硬件合理性

  • 位置:Section 5.2
  • 描述:论文报告使用 8 块 NVIDIA P100 GPU 训练,base 模型训练 100,000 步、每步约 0.4 秒(12 小时),big 模型训练 300,000 步、每步 1.0 秒(3.5 天)。
  • 证据:原文 Section 5.2 明确"We trained our models on one machine with 8 NVIDIA P100 GPUs. For our base models…each training step took about 0.4 seconds. We trained the base models for a total of 100,000 steps or 12 hours. For our big models…step time was 1.0 seconds. The big models were trained for 300,000 steps (3.5 days)." P100 GPU 于 2016 年发布,论文发表于 2017 年 NIPS,时间线合理。base 模型参数量 65M,big 模型参数量 213M(约 3.3 倍),训练时间 12h → 84h(约 7 倍),逻辑自洽。
  • 严重程度:🟡(无异常,良性指标)
  • 复核状态:✅ 成立(数据自洽,良性指标)

发现 7:方法描述与引用一致性

  • 位置:全文方法部分与参考文献
  • 描述:论文中引用的方法(如 Adam optimizer、Layer Normalization、Label Smoothing、Residual Dropout、Byte-Pair Encoding 等)均有据可查,参考文献列表完整。
  • 证据:参考文献 [20] Kingma and Ba (ICLR 2015) Adam、[1] Ba et al. (2016) Layer Normalization、[36] Szegedy et al. (2015) Label Smoothing、[11] He et al. (2016) Residual connections、[33] Srivastava et al. (2014) Dropout 等均为深度学习领域经典文献,真实存在。原文 Section 5.3 明确"β1=0.9, β2=0.98, ϵ=10⁻⁹",与 Adam 原始论文一致;Section 5.4 明确"Pdrop=0.1"和"ϵls=0.1",与各自引用文献一致。
  • 严重程度:🟡(无异常,良性指标)
  • 复核状态:✅ 成立(数据自洽,良性指标)

耿同学辣评

这篇论文要是造假,那整个 NLP 领域都得集体重修——因为全世界的 ChatGPT、GPT-4、Claude、BERT 全部都站在它的肩膀上。机器取证的报警信号?别慌,Benford 检验拿算法复杂度的大 O 表示法和超参数设计值去检验,本身就是"关公战秦琼";copy-move 命中的全是 Figure 3–5 注意力可视化里规则排列的 token 文本行,PRNU 同源则因为 12 页 PDF 本来就是同一渲染管线出的。一句话:这是真·改变世界的论文,不是真·造假论文。

建议后续行动

  • 无需行动——本论文为里程碑式公开论文,所有结果已被全球研究社区大规模复现和验证
  • 无需在 PubPeer 提出质疑
  • 无需向期刊编辑部举报
  • 无需向作者所在机构学术委员会举报

⚠️ 免责声明

本报告由 AI 辅助生成,仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信,但也尊重每一位研究者的名誉权。
如有异议,请以官方调查结论为准。
本工具不保证检测结果的准确性,误报和漏报均有可能。