🔍 耿同学打假报告

论文信息

• 标题：CircuitHub15K: A Normalized, Diverse and Comprehensive Dataset for Circuit Schematics
• 作者：Hongyu Chang, Huanyong Liu, Eric Leyu Zhou, Feng Xiong, Feng Zhang, Yuhui Yin
• 期刊：ChinaXiv（预印本）
• DOI：无
• 发表年份：2026（ChinaXiv 编号 202606.00239v1，posted 2026-06-12）
• 论文来源：202606.00239v1.pdf

综合评定：🟡 存疑

详细发现

⚠️ 发现 1：参考文献时间线疑点——"未来/边缘时间"文献

• 位置：参考文献 [2]、[8]
• 描述：参考文献 [2] SINA 标注为 arXiv:2601.22114（2026 年发表）；参考文献 [8] 标注 Gemini 3.1 Pro model card 发布于 2026 年 2 月，作者"accessed: 2026-03-13"。ChinaXiv 投稿日期为 2026-06-12，正文 §3.5 使用 "Gemini-3.1-pro-preview" [8] 进行配对验证。当 arXiv ID "2601" 与作者访问日期均处于当前日期（2026-08-14）之前时，单看时间线表面上不构成硬性矛盾；但 SINA 论文给出 arXiv:2601.22114 而编号 "2601" 在 arXiv 现行编号体系下对应 2026 年 1 月，Gemini 3.1 Pro 模型卡是否存在/是否在该时间点公开发布无法仅凭论文自身确认，需独立核实。由于论文中确实引用了这两个边缘时间文献且用于实验验证，存在可核验的时间线疑点。
• 证据：
  • 参考文献 [2]：Aldowaish, S., Karumanchi, Y., Chiang, K.C., Noorzad, S., Fayazi, M.: Sina: A circuit schematic image-to-netlist generator using artificial intelligence (2026), https://arxiv.org/abs/2601.22114
  • 参考文献 [8]：Google DeepMind: Gemini 3.1 pro model card. https://deepmind.google/models/model-cards/gemini-3-1-pro/ (feb 2026), accessed: 2026-03-13
  • 正文 §3.5：These, together with the pairing results, are provided to Gemini-3.1-pro-preview [8] for verification and correction of the pairing relationships.
• 严重程度：🟡
• 复核状态：⚠️ 依据不足（程序化核验显示 [2] 完整作者列表字符在原文中未找到，但作者姓名、arXiv 编号、出版社、年份等关键特征数据点已在参考文献条目中确认存在；论文确实引用了这两条文献，但其发布时间/可访问性需外部独立核实，原文未提供独立证据支持其为"虚构"或"造假"）

发现 2：模型名称异常——"YOLO26"

• 位置：§5.1、§5.2、Table 5 caption
• 描述：论文在 §5.1 与 §5.2 中多处明确使用 "YOLO26n, YOLO26m, YOLO26l" 三个模型名称，且 Table 5 caption 直接声称"yolo26l achieved the best mAP@50-95 performance across all three category scenarios"。截至当前日期（2026-08-14），Ultralytics 官方 YOLO 公开版本线为 YOLOv8 / YOLO11 / YOLO12，"YOLO26"在公开版本线中无对应真实发布。这要么是作者笔误（很可能本意指 YOLO12，因 1 与 2 在键盘上距离远不太像，但 l 与 26 可能 OCR/笔误），要么引用了未公开/虚构的模型。论文将其作为最优模型报告并赋以具体数值，构成严重真实性疑点。
• 证据：
  • §5.1（原文确凿命中）：We constructed baselines using YOLO series models (including YOLOv8n, YOLOv8m, YOLOv8l, YOLO11n, YOLO11m, YOLO11l, YOLO26n, YOLO26m, YOLO26l) on the CircuitHub9k dataset.
  • §5.2：Among the 9 models participating in the comparative experiments, YOLO26l achieved the best mAP@50-95.
  • Table 5 caption：Among the compared YOLO series models, yolo26l achieved the best mAP@50-95 performance across all three category scenarios.
  • Table 5 给出 yolo26l 的具体数值（Text F1=0.97035, mAP50-95=0.83519 等）
• 严重程度：🟠
• 复核状态：✅ 成立（程序化核验显示 §5.1 中模型枚举行命中原文，Table 5 caption 命中原文。§5.2 中"This work also contributes a baseline constructed..."段落未被机器精确匹配到，但该段是 §5.2 的开头句，与"YOLO26l achieved the best"模型名声明位于同一节，机器未命中的是句子片段而非"YOLO26l"这个名称本身，故 §5.2 的 YOLO26l 引用仍可视为原文存在）

⚠️ 发现 3：Table 1 数据排版/格式异常

• 位置：Table 1（Image2Net、Digitize-HCD、CGHD 三行）
• 描述：Table 1 中多个数据集的"#Imgs"列数字缺少正常分隔符/空格，呈现明显的 PDF 排版异常：Image2Net 行 2269 45 257、Digitize-HCD 行 1277 30 536、CGHD 行 2424 201 142。对照正文 §2.1 中的描述（"more than 2269 Circuit Diagrams... 30 component types and 3 line types"，"30,536 instances comprising 18,600 component instances and 11,936 text instances"，"144 hand-drawn circuits"对应"201,142"总量），可推断 Table 1 中"45 257"对应"45,257"、"30 536"对应"30,536"、"201 142"对应"201,142"。这种数字排版异常虽不影响数据本身正确性，但作为数据集论文的 Table 1 出现明显格式问题，反映出编辑严谨性不足，亦可能是 OCR/转录流程不严谨的表现。
• 证据：
  • Table 1 Image2Net 行：Image2Net 2269 45 257 Schem. 30 ✓ ✓
  • Table 1 Digitize-HCD 行：Digitize-HCD1277 30 536Schem. 18 ✓ ✓ ✓
  • Table 1 CGHD 行：CGHD 2424 201 142Schem. 58 ✓ ✓ ✓ ✓ ✓
  • 正文 §2.1(11)：more than 2269 Circuit Diagrams, with annotation types covering 30 component types and 3 line types
  • 正文 §2.1(11)：30,536 instances comprising 18,600 component instances and 11,936 text instances
  • 正文 §2.1(12)：2,424 images corresponding to 144 hand-drawn circuits
• 严重程度：🟡
• 复核状态：⚠️ 存在良性解释（机器核验显示这三条数据均命中原文。"2269 45 257"等格式问题可由 PDF 转 LaTeX/Word 的 OCR 丢失空格所致，是论文排版层面问题而非数据本身造假；但作为数据集论文 Table 1 的基本呈现错误，属于编辑严谨性疑点。考虑到原文未声明排版管线，无法判断是 PDF 转换损失还是源数据错误，保留为疑点）

⚠️ 发现 4：§5.1 与 Table 3 内部表述不一致

• 位置：§5.1 正文 vs Table 3
• 描述：§5.1 文本中明确声称 "YOLO11l achieved the best mAP50-95 of 0.8773"。然而 Table 3 报告 YOLO11l 在 Components 子集上 mAP50-95 = 0.8887，已超过 §5.1 文本中所述的"全数据集最佳值 0.8773"。这构成论文自身方法学章节内部的数值矛盾。可能的良性解释包括：(a) 0.8773 是完整 27 类标注的整体 mAP50-95，而 Table 3 是过滤后的子集（仅 Components），两者并非同一对比口径——但原文 §5.1 用词为"best mAP50-95"未限定子集，存在歧义；(b) 排版错误。但这种内部矛盾是论文严谨性问题，需作者澄清。
• 证据：
  • §5.1：Among the compared models, YOLO11n achieved the best F1 score of 0.9688, and YOLO11l achieved the best mAP50-95 of 0.8773.
  • Table 3 Components 行：Components 0.9650 0.9459 0.9554 0.9759 0.8887（YOLO11l 在 Components 子集 mAP50-95=0.8887 > 0.8773）
• 严重程度：🟡
• 复核状态：⚠️ 存在良性解释（程序化核验显示两段引用均原文命中。原文 §5.1 已说明 YOLO11l "在全部 27 类上达到最佳"，Table 3 是"在 4 类合并的子集上"的指标，口径不同，存在合理解释空间；但 §5.1 措辞未明确区分子集 vs 全集，属于写作严谨性问题）

⚠️ 发现 5：置信度阈值设置未加说明

• 位置：§5.1
• 描述：§5.1 报告"During inference, we set the confidence threshold to 0., and the IoU threshold to 0.6."。置信度阈值设为 0（即全部预测框都进入 PR 曲线）与 YOLO 系列常规实践（默认 conf=0.25 或 0.5）不一致，可能放大 mAP 数值。这一实验设置本身不是造假，但作者在论文中未对此选择做任何解释说明，影响实验可复现性。属于方法学披露不足。
• 证据：
  • §5.1：During inference, we set the confidence threshold to 0., and the IoU threshold to 0.6.
• 严重程度：🟡
• 复核状态：⚠️ 依据不足（程序化核验显示该数据点为弱匹配，原文实际写法为"set the confidence threshold to 0."，特征数字 0.6 在原文中可定位，视为存在。属于方法学披露不充分问题，不构成造假证据）

⚠️ 发现 6：数据集构建规模与人力投入披露不足

• 位置：§3.1、§3.4、§3.5
• 描述：论文声称从 250 份文档中提取 3505 张图 → 手动筛选 12276 个电路图 → 感知哈希去重保留 9754 张 → 对每张图进行 27 类标注（含 24 类组件 + 2 类节点 + 1 类文本） → 文本内容用 PaddleOCR-VL-1.5 识别 + 人工验证 → 组件-文本配对用 Gemini-3.1-pro-preview + 人工抽样 2000 张验证（F1=0.895）。这种规模（>23 万实例 + 文本内容标注 + 配对关系）通常需要数月全职标注员，但论文未提供标注员人数、标注时间、每人标注速度等关键工程披露。属于工程实施细节披露不足。
• 证据：
  • §3.1 Step 3：Through the deduplication operation, the number of circuit diagrams finally retained is 9,754.
  • §3.4：we first adopts PaddleOCR-VL-1.5 [4], ... this work further adopts manual verification
  • §3.5：we randomly sampled 2000 images from the pairing results for manual verification. The matching results of component-text pairs achieve a Precision of 0.832, a Recall of 0.969, and an F1-score of 0.895.
• 严重程度：🟡
• 复核状态：⚠️ 依据不足（程序化核验显示 §3.4 关于 PaddleOCR-VL-1.5 的引用为弱匹配命中，§3.1 与 §3.5 部分精确短语未在原文中找到，但 9754、2000、F1=0.895 等关键数据均出现在原文中可独立核实。该发现属于工程披露规范性问题，原文证据支持其规模数字真实，但人力投入披露本身无原文支持造假指控）

⚠️ 发现 7：Table 4 中多个数据集 Terminal 行数值高度近似

• 位置：Table 4（Image2Net Terminal vs Digitize-HCD Terminal）
• 描述：Table 4 中 Image2Net Terminal 行报告 P=0.319, R=0.175, F1=0.226；Digitize-HCD Terminal 行报告 P=0.323, R=0.181, F1=0.232。两者数值高度近似但属不同数据集独立训练/评估结果，且均为对 CircuitHub9k 训练模型的跨域评估。考虑到两个数据集独立、且均为"未参与训练的跨域测试"，理论上完全可能得到相近结果；但这种"P/R/F1 三位小数都高度对齐"的模式在小样本类别上属于可关注的统计特征。需要原始实验日志进一步确认。F1 数值与 2·P·R/(P+R) 公式的吻合情况属于正常四舍五入，未见明显数学不自洽。
• 证据：
  • Table 4 Image2Net Terminal 行：Terminal 0.319 0.175 0.226 0.118 0.021 8169
  • Table 4 Digitize-HCD Terminal 行：Terminal 0.323 0.181 0.232 0.171 0.087 623
• 严重程度：🟡
• 复核状态：⚠️ 依据不足（程序化核验显示两个数据点均为弱匹配但视为存在。F1 与 P/R 公式完全吻合为正常四舍五入；两个数据集 Terminal 数值高度近似属可疑统计特征，但样本量均较小（Image2Net 8169 个框 / Digitize-HCD 仅 623 个框），独立同分布下出现近似结果不构成造假证据，原文未提供任何独立指标表明该数值被人为调整）

耿同学辣评

"电路图数据集论文，9754 张图 + 23 万标注 + Gemini-3.1-pro-preview + PaddleOCR-VL-1.5，工具拉得满满当当——可惜工程细节披露单薄，Table 1 的数字排版肉眼可见地错位，§5.1 自称 YOLO11l 拿了 0.8773 的最佳 mAP，结果同一个表里 Components 子集 YOLO11l 就飙到 0.8887，把自家文字当场打脸。最让人绷不住的还得是 'YOLO26'——这名字在 Ultralytics 公开版本线上压根不存在，您是穿越来的还是键盘上 'l' 敲顺手了？建议先把时间线和模型名捋清楚，再来谈数据集标准化。"

建议后续行动

• 联系作者要求提供原始实验日志，确认"YOLO26"是否系"YOLO12"笔误
• 核实参考文献 [8] Gemini 3.1 Pro 模型卡是否在 2026-02 实际公开可访问
• 核实参考文献 [2] SINA arXiv:2601.22114 是否真实存在并可在 arXiv 检索
• 要求作者澄清 §5.1 文本（YOLO11l best mAP50-95=0.8773）与 Table 3（Components 子集 0.8887）之间的口径差异
• 要求作者补充标注员人数、标注周期、标注效率等工程实施披露
• 在 PubPeer 上提出关于 YOLO26 命名、Table 1 数字格式异常和内部表述矛盾的疑问

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。