Loading...
正在加载...
请稍候

Attention Is All You Need

2026-08-06 15:10

🔍 耿同学打假报告

论文信息

  • 标题:Attention Is All You Need
  • 作者:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
  • 期刊:31st Conference on Neural Information Processing Systems (NIPS 2017)
  • DOI:arXiv:1706.03762v7
  • 发表年份:2017
  • 论文来源:1706.03762v7.pdf

综合评定:✅ 清白

详细发现

按照「耿同学六式」对该论文进行全面扫描,结果如下:

发现 1:图片复用检测(第一式:一图多用)

  • 位置:Figure 4 与 Figure 5
  • 描述:在检查注意力机制的可视化图片时,发现 Figure 4 和 Figure 5 使用了完全相同的输入句子("The Law will never be perfect , but its application should be just - this is what we are missing , in my opinion . <EOS> <pad>")。
  • 证据:这两张图底部的文本矩阵和彩色注意力线条作用的对象完全一致。通常在生物医学论文中,不同 Figure 使用相同背景图像是严重的“一图多用”红旗。但是,仔细阅读图题发现,作者在 Figure 4 中展示的是“第 5 和第 6 个注意力头”,在 Figure 5 中展示的是“另外两个不同的注意力头”。在机器学习可解释性分析中,为了对比不同注意力头在同一句话上的不同行为(例如第 5 头关注指代消解,另一头关注句子结构),固定输入变量是严谨的科学对照行为。
  • 严重程度:🟢 (合理复用,非造假)

发现 2:数据造假检测(第二式:随机数生成器都不如)

  • 位置:Table 3 (Variations on the Transformer architecture)
  • 描述:提取并分析了表格中的 PPL (dev) 和 BLEU (dev) 数值的尾数分布。
  • 证据:数值包括 4.92, 5.29, 4.91, 5.01, 6.11, 4.88 等。尾数 (1-9) 分布非常自然,没有出现大面积聚集在 0 或 5 的情况,没有出现像“人为编造数据”那种明显的整数偏好。同时,消融实验的数据呈现合理的波动(例如改变 h 的数量,BLEU 从 24.9 变为 25.8 再变为 25.4),符合深度学习调参时的真实非线性特征,绝非“随机数生成器”或“编造的线性递增”。
  • 严重程度:🟢 (数据自然健康)

发现 3:时间线与产出异常检测(第五式/第六式:量产型与时间线)

  • 位置:Section 5.2 (Hardware and Schedule) 与 References
  • 描述:验证了论文中声称的训练时间、硬件型号与文献发表时间的关系。
  • 证据
    1. 论文提到使用了 8 张 NVIDIA P100 GPU,Big 模型训练了 300,000 步,耗时 3.5 天。进行数学验证:300,000 步 × 1.0 秒/步 = 300,000 秒。300,000 ÷ 3600 ÷ 24 ≈ 3.472 天。与论文声称的 3.5 天在数学上完美吻合(甚至精确到了小数点后两位的误差范围内)。如果是造假者瞎编的训练时间,通常会出现整除的完美数字,而不会是 3.5 天这种带有 0.5 的真实计时。
    2. 以当前时间(2026-06-07)回头看,NVIDIA P100 显卡发布于 2016 年,论文写于 2017 年,时间线上完全合理,不存在“使用穿越时空的显卡”的漏洞。
  • 严重程度:🟢 (逻辑完美闭环)

未触发异常的检测维度:

  • 第三式(PS痕迹):全文图片均为矢量架构图或代码生成的热力图,无任何显微镜/Western blot等光栅图像,不存在拼接可能。
  • 第四式(统计学异常):作为计算机科学/AI论文,采用基准测试对比,未使用医学统计中的 p 值,不存在 p-hacking 现象。提升 2 个 BLEU 点在机器翻译领域属于重大且可信的突破。

耿同学辣评

本来带着八倍镜来查这篇 AI 界的“圣经”,想看看连代码带公式是不是用 PS 拼出来的,结果被论文里“300000步 × 1.0秒 = 3.472天 ≈ 3.5天”的硬核时间线给整破防了。这篇论文连标点符号都经得起打假仪器的扫描,这才是做学问该有的样子,建议某些靠 PS 拼图发顶会的学术牛马们把这篇论文打印下来贴在床头每天磕三个响头!

建议后续行动

  • 无需任何举报,这是一篇经受住了历史和极其严苛的放大镜双重考验的经典神作。
  • 建议认真学习其消融实验的设计方法。

⚠️ 免责声明

本报告由 AI 辅助生成,仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信,但也尊重每一位研究者的名誉权。
如有异议,请以官方调查结论为准。
本工具不保证检测结果的准确性,误报和漏报均有可能。