🔍 耿同学打假报告

论文信息

• 标题：NoteIt: A System Converting Instructional Videos to Interactable Notes Through Multimodal Video Understanding
• 作者：Running Zhao, Zhihan Jiang, Xinchen Zhang, Chirui Chang, Handi Chen, Weipeng Deng, Luyao Jin, Xiaojuan Qi, Xun Qian, Edith C.H. Ngai
• 期刊/会议：The 38th Annual ACM Symposium on User Interface Software and Technology (UIST '25)
• DOI：https://doi.org/10.1145/3746059.3747626
• 发表年份：2025 (arXiv预印本发布于 2025年8月20日)
• 论文来源：lw5Notelt.pdf

综合评定：🟡 存疑

详细发现

发现 1：文本生成/排版异常（Copy-Paste 残留）

• 位置：Section 3.2 (Characteristics of Notes -> Content verbosity)
• 描述：作者在描述笔记的“详略程度”时，出现了极其明显的文本复制粘贴或大语言模型生成残留痕迹。同一段话中，表达相同含义的句子被换了个说法重复了两次。
• 证据：原文写道：“In contrast, we also found that some of the notes offer concise descriptions, reducing steps to their essential components such as a device instruction notes “Adjust brightness: Settings→Display→Brightness slider." In contrast, other notes adopt a concise style, distilling steps to essential actions, such as: “Adjust brightness: Settings→Display→Brightness slider."” 这种连续用“In contrast”开头并引用完全相同例子的情况，属于典型的不修改草稿直接拼接的“糊弄学”操作。
• 严重程度：🟡
• 复核状态：✅ 成立

发现 2：方法学与核心工具命名错误

• 位置：Section 4.6 (Implementation)
• 描述：论文核心依赖的多模态大模型为 GPT-4o，但在关键的实现细节部分，模型名称被拼写错误。
• 证据：4.6节原文写道：“Moreover, NoteIt is powered by OpenAI GTP-4o (GPT4o-vision) API...”。将 GPT 写成 GTP，且未在上下文中作区分，这说明作者在撰写或校对时极其粗心，或者直接由 AI 生成文本后未加人工审核。
• 严重程度：🟡
• 复核状态：✅ 成立

发现 3：实验结果描述与数据的自相矛盾

• 位置：Section 5.3 (Results) & Table 1
• 描述：正文对评价指标范围的描述与表格实际呈现的数据格式存在矛盾，且表格数据存在低级算术错误。
• 证据：
  1. 正文称：“Each metric in the range between 0 and 1 is computed by...”，但紧接着 Table 1 中给出的所有数据（如 91.88%, 67.94%）均为百分比格式（0-100），说明作者可能随意复制了统计描述模板。
  2. 表格末尾的 Average 行中，F1 值的算术平均数计算错误：(91.63% + 70.86%) / 2 = 81.245%，按照正常四舍五入应为 81.25%，但表格中赫然写着 81.24%。
• 严重程度：🟡
• 复核状态：✅ 成立

⚠️ 发现 4：统计学显著性的“完美”压制

• 位置：Section 6.3 & Table 2
• 描述：在进行 User Study 的主观评分对比时，对比工具是商业化的 NoteGPT，NoteIt 在所有维度的 Wilcoxon 检验中 p 值全部小于 0.001。
• 证据：虽然学术论文喜欢看 p<0.001，但拿一个精心设计的多模态管线去“降维打击”一个只做纯文本提取的基础工具，并且在所有主观问卷题目上取得如此一致的极高显著性差异，这种“太好胜”的数据往往是实验设计存在引导性，或者被试者存在严重的预期偏差。
• 严重程度：🟡
• 复核状态：⚠️ 依据不足

无法进行检测的维度说明

• 第一式（图片复用）与第三式（图片拼接）：由于当前输入仅包含文本，未提供原始的高清论文图片，无法对 Western Blot、显微镜图或 UI 截图进行像素级、噪点分布和边缘痕迹的鉴定。
• 第五式（量产异常）：论文时间线（2024年底引用至2025年初投稿2025年8月预印本）符合正常逻辑，未发现使用未来试剂或设备的穿越现象。

耿同学辣评

拿最顶级的 GPT-4o 和一堆视觉大模型攒出来的“屠龙刀”，去砍一个只做纯文本提取的“白菜”工具，这套“高射炮打蚊子”的戏码确实好看。但连自己论文里核心模型名字都能拼错（GTP-4o），段落里还能留下连续两句“In contrast”的复读机语录，甚至算术平均数都能算错——这些细节不禁让人怀疑：连字都不愿意自己校对的团队，他们跑出来的系统真能做到“faithful”吗？虽然主观问卷“完美”的显著性差异没有直接造假的实锤，但整体论文表现出的粗糙感确实让人难以信服。

建议后续行动

• 联系作者要求提供原始数据与统计代码
• 在 PubPeer 上提出对算术错误与排版问题的质疑
• 呼吁同行关注其实验设计的严谨性

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。