# 🔍 耿同学打假报告

## 论文信息
- 标题：NoteIt: A System Converting Instructional Videos to Interactable Notes Through Multimodal Video Understanding
- 作者：Running Zhao, Zhihan Jiang, Xinchen Zhang, Chirui Chang, Handi Chen, Weipeng Deng, Luyao Jin, Xiaojuan Qi, Xun Qian, Edith C.H. Ngai
- 期刊/会议：The 38th Annual ACM Symposium on User Interface Software and Technology (UIST '25)
- DOI：https://doi.org/10.1145/3746059.3747626
- 发表年份：2025 (arXiv预印本发布于 2025年8月20日)
- 论文来源：lw5Notelt.pdf

## 综合评定：🟡 存疑

## 详细发现

### 发现 1：文本生成/排版异常（Copy-Paste 残留）
- **位置**：Section 3.2 (Characteristics of Notes -> Content verbosity)
- **描述**：作者在描述笔记的“详略程度”时，出现了极其明显的文本复制粘贴或大语言模型生成残留痕迹。同一段话中，表达相同含义的句子被换了个说法重复了两次。
- **证据**：原文写道：“*In contrast, we also found that some of the notes offer concise descriptions, reducing steps to their essential components such as a device instruction notes “Adjust brightness: Settings→Display→Brightness slider." In contrast, other notes adopt a concise style, distilling steps to essential actions, such as: “Adjust brightness: Settings→Display→Brightness slider."*” 这种连续用“In contrast”开头并引用完全相同例子的情况，属于典型的不修改草稿直接拼接的“糊弄学”操作。
- **严重程度**：🟡
- **复核状态**：✅ 成立

### 发现 2：方法学与核心工具命名错误
- **位置**：Section 4.6 (Implementation)
- **描述**：论文核心依赖的多模态大模型为 GPT-4o，但在关键的实现细节部分，模型名称被拼写错误。
- **证据**：4.6节原文写道：“Moreover, NoteIt is powered by OpenAI **GTP-4o** (GPT4o-vision) API...”。将 GPT 写成 GTP，且未在上下文中作区分，这说明作者在撰写或校对时极其粗心，或者直接由 AI 生成文本后未加人工审核。
- **严重程度**：🟡
- **复核状态**：✅ 成立

### 发现 3：实验结果描述与数据的自相矛盾
- **位置**：Section 5.3 (Results) & Table 1
- **描述**：正文对评价指标范围的描述与表格实际呈现的数据格式存在矛盾，且表格数据存在低级算术错误。
- **证据**：
  1. 正文称：“Each metric **in the range between 0 and 1** is computed by...”，但紧接着 Table 1 中给出的所有数据（如 91.88%, 67.94%）均为百分比格式（0-100），说明作者可能随意复制了统计描述模板。
  2. 表格末尾的 Average 行中，F1 值的算术平均数计算错误：(91.63% + 70.86%) / 2 = 81.245%，按照正常四舍五入应为 **81.25%**，但表格中赫然写着 **81.24%**。
- **严重程度**：🟡
- **复核状态**：✅ 成立

### ⚠️ 发现 4：统计学显著性的“完美”压制
- **位置**：Section 6.3 & Table 2
- **描述**：在进行 User Study 的主观评分对比时，对比工具是商业化的 NoteGPT，NoteIt 在所有维度的 Wilcoxon 检验中 p 值**全部小于 0.001**。
- **证据**：虽然学术论文喜欢看 p<0.001，但拿一个精心设计的多模态管线去“降维打击”一个只做纯文本提取的基础工具，并且在所有主观问卷题目上取得如此一致的极高显著性差异，这种“太好胜”的数据往往是实验设计存在引导性，或者被试者存在严重的预期偏差。
- **严重程度**：🟡
- **复核状态**：⚠️ 依据不足

## 无法进行检测的维度说明
- **第一式（图片复用）与第三式（图片拼接）**：由于当前输入仅包含文本，未提供原始的高清论文图片，无法对 Western Blot、显微镜图或 UI 截图进行像素级、噪点分布和边缘痕迹的鉴定。
- **第五式（量产异常）**：论文时间线（2024年底引用至2025年初投稿2025年8月预印本）符合正常逻辑，未发现使用未来试剂或设备的穿越现象。

## 耿同学辣评
拿最顶级的 GPT-4o 和一堆视觉大模型攒出来的“屠龙刀”，去砍一个只做纯文本提取的“白菜”工具，这套“高射炮打蚊子”的戏码确实好看。但连自己论文里核心模型名字都能拼错（GTP-4o），段落里还能留下连续两句“In contrast”的复读机语录，甚至算术平均数都能算错——这些细节不禁让人怀疑：连字都不愿意自己校对的团队，他们跑出来的系统真能做到“faithful”吗？虽然主观问卷“完美”的显著性差异没有直接造假的实锤，但整体论文表现出的粗糙感确实让人难以信服。

## 建议后续行动
- [ ] 联系作者要求提供原始数据与统计代码
- [ ] 在 PubPeer 上提出对算术错误与排版问题的质疑
- [ ] 呼吁同行关注其实验设计的严谨性

## ⚠️ 免责声明
本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。