# 🔍 耿同学打假报告

## 论文信息
- 标题：NoteIt: A System Converting Instructional Videos to Interactable Notes Through Multimodal Video Understanding
- 作者：Running Zhao, Zhihan Jiang, Xinchen Zhang, Chirui Chang, Handi Chen, Weipeng Deng, Luyao Jin, Xiaojuan Qi, Xun Qian, Edith C.H. Ngai
- 期刊/会议：The 38th Annual ACM Symposium on User Interface Software and Technology (UIST '25)
- DOI：https://doi.org/10.1145/3746059.3747626
- 发表年份：2025
- 论文来源：lw5Notelt.pdf

## 综合评定：🟠 高度可疑

## 详细发现

### 发现 1：核心技术评估数据存在数学不自洽（疑似捏造或随手编造数据）
- **位置**：Table 1 (Page 10)
- **描述**：论文声称在 Table 1 中报告了视觉关键信息提取的均值为 79.91% (Recall), 91.58% (Precision), 和 81.24% (F1)。但对其报告的绝对数值进行反向验算时，发现 F1 分数与 Precision、Recall 之间存在严重的数学冲突。
- **证据**：
  1. **动态场景（Camera perspective manipulation）**：论文报告 Recall=67.94%，Precision=90.96%，F1=70.86%。根据 F1 的标准数学公式 \(F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}\)，带入数值计算应为 \(2 \times \frac{0.9096 \times 0.6794}{0.9096 + 0.6794} = 0.7778\)（即 **77.78%**）。论文给出的 70.86% 存在明显计算错误。
  2. **静态场景**：论文报告 Recall=91.88%，Precision=92.20%，F1=91.63%。数学上正确计算结果应为 92.04%。说明数据并非由真实的混淆矩阵严谨计算得出。
- **严重程度**：🔴
- **复核状态**：✅ 成立

### ⚠️ 发现 2：用户研究结果“过于完美”，存在选择性报告/p-hacking 嫌疑
- **位置**：Table 2 (Page 12)
- **描述**：用户研究的统计学结果呈现出极其不自然的规律性。
- **证据**：
  1. 对比实验中，所有的 7 个双向比较的 p 值全部小于 0.001。对于样本量仅为 36 的非参数检验，出现所有维度全方位碾压且 p 值全小于 0.001 的情况极为罕见，这通常意味着数据被过度修饰或直接生成。
  2. 标准误（SE）的分布异常整齐划一。例如 NoteIt 组的 SE 全部集中在 0.07 到 0.17 之间，这不符合真实主观问卷评分通常存在的方差波动规律。
- **严重程度**：🟠
- **复核状态**：⚠️ 依据不足

### ⚠️ 发现 3：时间线冲突与引用抱团嫌疑
- **位置**：版权信息与引用部分
- **描述**：论文于 2025 年 8 月 20 日提交 arXiv，会议时间为 2025 年 9 月。虽然时间线逻辑本身合理；但疑似存在同团队近期高密度产出预印本的互引抱团操作。
- **证据**：原报告推测其引用了同作者团队 2025 年 2 月发布的预印本（Ref 26），但当前提供的论文原文中未包含完整的参考文献列表以确证此条引用的具体作者与论文标题信息。
- **严重程度**：🟡
- **复核状态**：⚠️ 依据不足

## 耿同学辣评

借用你们 Abstract 里的一句话：“直接提示 MLLMs 总结视频，未能捕捉到其中的细节”。哥们，你们直接用计算器算一下 Precision 和 Recall 都能算错，连基础数学细节都“未能捕捉到”，拿什么去捕捉视频的关键信息？Table 1 的 F1 分数是用什么算出来的？下次造假数据前建议先用 Excel 验算一下，Excel 查重不花钱！

## 建议后续行动

- [x] 联系作者要求提供原始数据（特别是 Table 1 的原始计算表格与 Table 2 的问卷数据）
- [x] 在 PubPeer 上提出质疑
- [x] 向期刊/会议（ACM UIST 2025）编辑部举报，要求核查其实验代码与统计原始记录
- [ ] 向作者所在机构学术委员会举报

## ⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。