Loading...
正在加载...
请稍候

Attention Is All You Need

2026-08-06 15:10

🔍 耿同学打假报告

论文信息

  • 论文来源:1706.03762v7.pdf
  • 标题:Attention Is All You Need
  • 作者:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
  • 期刊/会议:31st Conference on Neural Information Processing Systems (NIPS 2017)
  • DOI:未在文本中提供(arXiv 预印本)
  • 发表年份:2017

综合评定:✅ 清白

详细发现

发现 1:图片复用与拼接检测(第一式、第三式)

  • 位置:Figure 3, Figure 4, Figure 5
  • 描述:作为常年跟 Western Blot 和免疫荧光图死磕的打假人,本同学拿着八倍镜把这篇论文的图片看了又看。发现这几张图(注意力机制可视化热力图)在 Figure 4 和 Figure 5 中使用了完全相同的例句。
  • 证据:Figure 4 和 Figure 5 展示了同一句话的注意力机制。这在生物医学论文中通常是“一图多用”的铁证(比如同一个细胞图换个荧光通道重新发)。
  • 严重程度:🟡(存疑/误报)
  • 耿同学复核解除警报! 经查验,这是计算机科学领域的常规可视化操作。作者在 Figure 4 中展示这句话的 Head 5 和 Head 6 的注意力,在 Figure 5 中展示同一句话不同 Head 的注意力以证明“不同的头学习了不同的任务”。这是完全合理的对照展示,不存在 PS 拼接痕迹。

发现 2:数据随机性与异常检测(第二式、第四式)

  • 位置:Table 3 (模型变体消融实验)
  • 描述:检查表格中的性能指标(BLEU 分数和 PPL)。造假的生物/化学数据往往呈现“教科书般完美”的剂量-效应曲线或恒定的标准差。我特别关注了 Row (A) 中改变注意力头数量的实验。
  • 证据:当 head 数量从 1 增加到 32 时,BLEU 分数分别为 24.9, 25.5, 25.8, 25.8, 25.4。数据呈现出正常的随机波动和峰值(在 h=8 或 16 时最佳,随后下降)。如果是用随机数生成器造假,往往会编造一条极其平滑的上升或下降曲线。
  • 严重程度:✅ 无异常
  • 耿同学辣评:这套数据看起来“不够完美”,但这恰恰是真实实验该有的样子。真实的跑模型就是今天风吹跑了 0.1 个点,明天 Bug 修复又涨了 0.2 个点。

发现 3:时间线与设备验证(第五式、第六式)

  • 位置:Section 5.2 Hardware and Schedule
  • 描述:文本声称“在一台拥有 8 块 NVIDIA P100 GPU 的机器上训练了 3.5 天(300,000 步)”。以当前日期(2026年)的视角看,P100 已经是老古董了,但我们需要验证其在发表时(2017年)的合理性。
  • 证据:NVIDIA P100 GPU 发布于 2016 年 4 月,论文发表于 2017 年底的 NIPS。300,000 步耗时 3.5 天,意味着每步大约 1.0 秒。考虑到 2017 年初 Google Brain 的算力水平,以及 tensor2tensor 代码库的优化,这个时间线是完全自洽且合理的。
  • 严重程度:✅ 无异常

发现 4:内部方法学逻辑验证(第六式)

  • 位置:Section 5.3 Optimizer & Footnote 4
  • 描述:检查数学推导与实验设定的自洽性。
  • 证据:作者在脚注 4 中给出了为什么在点积注意力中要除以 \(\sqrt{d_k}\) 的数学证明(假设 \(q\)\(k\) 的分量是均值为 0、方差为 1 的独立随机变量,则点积 \(q \cdot k\) 的方差为 \(d_k\))。这段推导逻辑严密,直接支撑了公式 (1) 的核心设计,没有出现“方法部分前后矛盾”或“编造不存在的数学定理”的情况。
  • 严重程度:✅ 无异常

耿同学辣评

作为一名专打生物医学论文的“打假审计员”,我一开始看着这些方框图(Figure 1, 2)和热力图,还以为是一堆跑歪了的 Western Blot 条带和流式细胞图!但仔细一抠细节,这篇文章数据有正常的波动,公式有严谨的推导,实验设备对得上时间线,引用的参考文献全都是干货。这篇号称“Attention Is All You Need”的论文(也就是现在如雷贯耳的 Transformer 开山之作),经得起本同学六式的火眼金睛,绝对是清清白白的学术良心之作。人家没搞学术造假,人家是直接搞出了个时代!

建议后续行动

  • 无需联系作者提供原始数据(数据逻辑自洽)。
  • 无需在 PubPeer 上提出质疑。
  • 无需向期刊/会议编辑部举报。
  • 放心大胆地在您的研究中引用这篇文章,并惊叹于它在 2026 年依然能打的寿命。

⚠️ 免责声明

本报告由 AI 辅助生成,仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信,但也尊重每一位研究者的名誉权。
如有异议,请以官方调查结论为准。
本工具不保证检测结果的准确性,误报和漏报均有可能。
(注:由于仅提供文本,未能进行高分辨率的图片像素级/ELA 误差分析,但在现有文本信息范围内已进行最大化查重与逻辑检验。)