🔍 耿同学打假报告

论文信息

标题：Multispectral Object Detection for Autonomous Vehicles
作者：Takumi Karasawa, Kohei Watanabe, Qishen Ha, Antonio Tejero-De-Pablos, Yoshitaka Ushiku, Tatsuya Harada
期刊/会议：Thematic Workshops '17 (ACM Multimedia 2017)
DOI：10.1145/3126686.3126727
发表年份：2017
论文来源：3126686.3126727.pdf

综合评定：🟠 高度可疑

这篇论文虽然在数据计算的数学自洽性上表现尚可，但在实验设计逻辑和对照组公平性上存在严重的方法学缺陷。作者通过不合理的训练集分配，人为贬低了baseline（六通道直接输入）的性能，从而凸显其提出的ensemble方法的优越性。这种“田忌赛马”式的比较，在学术上属于严重的选择性实验设计，极大影响了核心结论的可靠性。

详细发现

发现 1：数据计算自洽性检查（数学上没毛病）

位置：Table 2, Table 3, Table 5, Table 6
描述：对论文中报告的 mAP (mean Average Precision) 进行了复核。
证据：
- Table 2 RGB 行：(0.55 + 0.77 + 0.64 + 0.58 + 0.74) / 5 = 0.656，报告值为 0.66。
- Table 2 NIR 行：3.08 / 5 = 0.616，报告值为 0.62。
- Table 3 Ensemble 行：3.93 / 5 = 0.786，报告值为 0.79。
- 所有表格的 mAP 计算均与各类别 AP 的算术平均值高度吻合。
严重程度：🟢（这部分没造假，说明作者基础算术过关）

发现 2：田忌赛马式实验设计（核心红旗）

位置：Section 3 (Multispectral Dataset) & Section 5.2 (Multispectral detection experiment)
描述：作者在比较提出的“Ensemble”方法与“6-channel”直接输入方法时，使用了不公平的数据集划分。
证据：
- 在第3节末尾，作者明确写道：“we visually reviewed... and chose 1,446 images whose alignments are correct ... as test images and 1,553 images whose alignments are incorrect ... as training images for the experiment using six channels.”
- 这意味着，作为对照组的“6-channel”模型，仅仅使用了约1500张对齐不佳的“残次品”图像进行训练。
- 而作者提出的“Ensemble”方法（Section 4.1），其子模型是分别独立训练的（“trained separately using the original (not merged) RGB, FIR, MIR, and NIR images”），即使用了全部约7512张原始图像进行训练。
- 结论：作者用一个只用1500张“坏数据”训练的模型，去对比一个用7500张“全量数据”训练的模型，然后得出结论说“直接输入6通道不行，我们的Ensemble方法比它高13%”。这种比较是无效且误导性的。6通道模型性能低很可能是因为训练数据量锐减且质量差，而不是因为方法本身不行。
严重程度：🔴（用不公平的对比来支撑核心创新点）

发现 3：结论与实验设计的矛盾

位置：Section 5.2.1 Discussion
描述：作者试图将6通道模型的失败归结为特征融合的理论难题。
证据：文中提到“The six-channel object detection model was not able to train a meaningful feature extraction model...”，但实际上，由于训练数据集的巨大差异（数据量与对齐质量），我们无法判断性能下降是因为“特征难以融合”还是单纯因为“数据饿死了模型”。作者回避了这一实验漏洞，直接得出了有利于自己方法的理论解释。
严重程度：🟠（选择性解释）

发现 4：设备信息合理性

位置：Section 3 (Footnotes 2-5)
描述：检查了作者使用的相机型号是否存在时间线穿越。
证据：
- RGB: Logicool C920R (2012年上市)
- FIR: Nippon Avionics InfReC R500
- NIR: Xenics Xeva-1.7-320
- 论文发表于2017年，使用的设备均为2017年之前存在的型号，时间逻辑合理。
严重程度：🟢（设备经得起推敲）

耿同学辣评

这篇论文生动诠释了什么叫作“只要对照组选得够烂，我的方法就是全场最佳”。拿1500张对齐失败的图去喂给6通道模型，剩下的7000多张好图留给自己的Ensemble模型吃独食，然后煞有介事地分析一通为什么6通道学不到特征。兄弟，它学不到特征不是因为它笨，是因为你没给它饭吃啊！这种“精心设计”的对照实验，得出的13%性能提升，我建议改成“数据量与质量差异导致的性能下降”更合适。

建议后续行动

不建议直接判定数据造假，因为数值计算逻辑自洽。
建议联系作者要求补充公平对比实验：使用相同的训练集（哪怕是对齐不好的1500张）分别训练Ensemble的子模型和6通道模型，或者使用相同的大规模数据集进行训练。
在 PubPeer 上提出质疑，指出其对照组实验设计存在严重的不公平性，核心结论可能不成立。

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。

Multispectral Object Detection for Autonomous Vehicles