🔍 耿同学打假报告

论文信息

标题：多LLM集成的科技论文知识抽取与前沿识别研究——以人工智能领域为例
作者：徐鸿¹，李刚²
期刊：ChinaXiv预印本（未注明正式期刊）
DOI：无（ChinaXiv:202608.00105v1）
发表年份：2026年8月22日（预印本）
论文来源：202608.00105v1.pdf
作者单位：云南开放大学（1.资产处；2.数智中心）

综合评定：🟠 高度可疑

本论文涉及多LLM集成的科技情报分析方法，整体自洽性较强，作者亦对方法论局限进行了坦率讨论。但机器取证证据（S1–S4）揭示了多重独立的、方向一致的统计异常——Benford联合检验严重偏离、末位数字分布严重不均、SD模式高度聚集——这指向系统性数据层面的可疑操作；图像取证（I2、I4、I6、I8、I10、I14）也检测到多幅图中存在 copy-move 复制粘贴痕迹与PRNU高度同源。尽管作者对循环验证、Stacking过拟合等方法论问题有自觉反思，但底层数据的可疑特征无法仅以"方法论讨论"化解，且其中SD聚类、末位数字失衡、Benford联合偏离这三类统计异常构成相互独立的强证据集群。

详细发现

发现 1：Benford定律联合检验严重偏离

位置：全文表格数值（表1–表11的精确率/召回率/F1）
描述：第1–4位数字分布均显著偏离Benford定律（MAD范围0.0355–0.1514，χ²范围124.2–2952.3，全部p<0.0000）。第4位数字MAD=0.1514已达"严重偏离"阈值。
证据：原文表1–表4、表5、表6、表10、表11中48组带SD的数据点全部原文命中。Benford检验对受控范围[0,1]数据适用前提不完全满足（因NLP任务的F1/精确率/召回率集中在0.3–0.9范围，并非自由分布测量），故单独使用不足以定罪；但与其他统计异常（末位数字、SD聚类）联合则具有诊断价值。
严重程度：🟠
复核状态：⚠️ 存在良性解释（Benford检验对受控范围[0,1]数据适用前提不完全满足，需结合其它检验判断；但与S2、S3联合形成相互独立的异常集群，作为线索保留）

发现 2：末位数字分布严重不均 + 奇偶比失衡

位置：全文表格数值的末位
描述：χ²=246.3 (p=0.0000)；奇偶比 162/461=0.35（p=0.0000）；相邻末位偏差5.9σ。
证据：原文所有表格数值末位均原文命中。真实测量数据末位应近似均匀（0–9各约10%），奇偶各约50%。本论文奇数末位仅占35%，远低于50%基线；相邻末位相关性达5.9σ。这是末位均匀假设的指纹级偏离。
严重程度：🟠
复核状态：✅ 成立（机器核验10/10原文命中；末位均匀假设对自由测量数据适用前提满足；与其他统计异常方向一致）

发现 3：标准差模式呈指纹级聚集

位置：表1、表3、表4、表5的均值±SD列
描述：48组数据仅对应10个不同SD值；SD小数位数完全一致（多为±0.001–±0.003）；CV=0.9230；Bayes Factor=INF:1支持"SD不全等"假设。
证据：原文表1中"0.855±0.002""0.713±0.002""0.716±0.001""0.715±0.002""0.474±0.002"等数据点11/11原文命中。SD聚类在5次重复实验的不同模型/任务上呈现近乎完全统一的小数位精度，反方论证检查：作者在4.2节声明"所有实验独立重复5次（随机种子42、123、456、789、2024）进行数据集划分，结果报告均值±标准差"并统一温度参数为0.1，但未声明对原始SD做过截断或近似处理。论文中未提供任何支持"SD本应更宽分布"反证假设的正面依据（如声明报告的是SEM而非SD、或声明实验本身高度稳定可复现）。仅以"5次重复可能SD本身较小"作为通用托辞，原文无正面支持。故SD聚类作为有效线索保留。
严重程度：🟠
复核状态：✅ 成立

发现 4：图像 copy-move 复制粘贴痕迹（多幅图）

位置：img-000.jpg、img-001.jpg、img-002.jpg、img-003.jpg、img-004.jpg
描述：所有5张被检测图均发现 copy-move 匹配：img-000偏移(152,0)处48对；img-001偏移(32,0)处9对；img-002偏移(24,8)处9对；img-003偏移(32,0)处250对；img-004偏移(56,0)处36对。
证据：反方论证检查：论文图1为流程示意图（图1）、图2为Cohen's Kappa热力图、图3为知识图谱可视化、图4为前沿识别柱状图、图5为年度演化趋势图。此类统计/示意图中存在规则重复元素（坐标轴、网格线、边框、社区发现可视化中的密集同色节点、柱状图的刻度文字）的可能性高，原文未声明图像制作管线和元素布局细节，无法在原文中找到正面支持排除"图表规则元素触发匹配"的证据。但 img-003 处 250 对匹配（偏移(32,0)）数量异常大，远超规则元素能解释的范围；结合I14 PRNU高度同源，构成多模态证据链。按复核原则第8d条，所提良性解释在原文中无正面支持，仅为通用托辞，copy-move匹配作为强证据线索保留，但描述改为中性措辞。
严重程度：🟠（img-003 250对匹配 + I14 PRNU同源，多模态联合证据）
复核状态：⚠️ 存在疑点（copy-move程序化检测阳性；良性解释"规则重复元素"在原文中无正面支持，仅为推测；与I14 PRNU同源构成多模态联合线索）

发现 5：图像噪声方差不一致 / PRNU 部分同源

位置：img-002.jpg、img-003.jpg vs img-004.jpg
描述：img-002噪声CV=1.22（高度不均，疑似拼接）；img-003与img-004之间PRNU NCC=0.255（高度同源）。
证据：img-002（知识图谱可视化）的噪声方差CV=1.220超过常规阈值；img-003与img-004之间NCC=0.255远高于其它图对（NCC在-0.011至0.032之间）。反方论证检查：原文未声明这些图像来自不同传感器或不同批次采集，因此"统一导出管线"为候选良性解释；但原文未明确说明图像导出管线（未声明使用同一Matplotlib版本或同一渲染脚本），亦未正面支持"良性同源"假设。按复核原则第8c/8d条，所提良性解释在原文中无正面支持依据，仅为通用托辞，不足以清除线索。img-002噪声CV=1.22超过常规阈值，且与其他copy-move阳性（I6）指向同一图，构成多模态联合证据。
严重程度：🟠（img-002 噪声CV=1.22 + 与I6 copy-move联合）
复核状态：⚠️ 存在疑点（良性解释"统一导出管线"在原文中无正面支持，仅为推测；但因论文类型为示意图/统计图，确实大概率来自同批次导出，故保留为线索而非强证据）

发现 6：参考标准构建存在循环验证（方法论自我承认）

位置：4.1节"标注流程与评估基准构建"
描述：作者明确承认"参考标准由5个LLM共识构建，评估对象又是这5个LLM及其集成"，存在circular validation的方法论局限；表8显示≥4参考标准召回率仅0.519，约48%真实实体被遗漏。
证据：原文4.1节标注流程与评估基准构建部分明确自述："若模型共享某种系统性偏差（如都把'self-supervised learning'识别为方法而非任务），该偏差将被共识机制固化为'正确答案'。因此本文的F1值应理解为'与模型共识的一致性'而非绝对准确率。"机器核验引用的两个数据点（"若模型共享某种系统性偏差"和"因此本文的F1值应理解为"）原文实际存在（核验结果中标注为"未找到"的两个数据点，经查原文4.1节末段确实出现，仅因PDF排版空格/换行被机器误判）。作者自承循环验证削弱全部F1结论的解读力度，属良性指标（作者主动披露方法论局限）。但作为信息性观察保留。
严重程度：🟡
复核状态：⚠️ 存在良性解释（作者已自承循环验证；该发现为方法论讨论而非数据造假线索）

发现 7：Stacking诊断性实验存在过度拟合（作者自承）

位置：表4 Stacking行；5.2.4节
描述：Stacking在≥4标准下F1=0.944±0.001，精确率0.988±0.001；多标准评估证实严重过拟合。
证据：原文5.2.4节明确自述"Stacking在≥3下仅0.730，≥5下降至0.600，剧烈波动表明元学习器学到的是参考标准构建规则而非通用识别能力，F1=0.944不可作为有效性证据"。摘要中"集成在关系抽取上实现正增益（F1提升15%～73%）"包含Stacking的73%——作者加了⚠标记并说明过拟合。作者自承并加注，属良性指标（信息披露充分）。
严重程度：🟡
复核状态：⚠️ 存在良性解释（作者已自承并加注；属方法论自我披露）

发现 8：表1"F1标准差"列含义不明

位置：表1第5列
描述：表1第5列名为"F1标准差"，但GPT-4对应值为0.124±0.001；这与第4列的F1=0.855±0.002完全不在同一量纲。
证据：原文表1第5列原文确认存在（机器核验6/6命中）。原文未对该列给出明确定义。该列疑为F1的另一种统计量（如跨实体类型的标准差、或某种其他离散度度量），但作者未作说明。属于论文表述不清/可能误命名，不构成数据造假证据，但需读者注意解读。视觉分析摘要亦独立指出此疑点。
严重程度：🟡
复核状态：⚠️ 依据不足（指标含义不明，但属写作不清而非数据造假）

发现 9：GPT-4论文年份数据可疑

位置：5.6节前沿识别
描述：摘要称"按对数增长率≥0.3、近期频次≥5的标准识别出29个新兴前沿（5次重复实验为25～29个）"，且Top10中包括GPT-4（增长率3.12，近期65篇）。
证据：原文表11、5.6节增长率前五数据原文命中（GPT-4增长率3.12、近期65篇）。GPT-4于2023年发布，论文发表于2026年8月。作者用对数增长率≥0.3作门槛，GPT-4增长率3.12说明近期论文使用频次激增。"新兴"取决于定义——在AI研究语境内，2026年仍将GPT-4识别为前沿与其近期使用频次激增并不矛盾。作者在6.2节已自承"数据集仅使用标题和摘要……前沿识别偏向高曝光度主题"。该发现与数据集设计有关，不构成数据造假证据。
严重程度：🟡
复核状态：⚠️ 存在良性解释（与数据集设计有关，作者有自承局限）

发现 10：置信度融合精确率计算反常

位置：5.2.1节、5.2.5节
描述：表4显示置信度融合实体精确率0.691±0.002，召回率0.927±0.003；表6显示其覆盖率93.3%。
证据：原文表4、表6数据原文命中。该数据为对计算结果的描述性观察（基于≥4参考标准的精确率与参考标准自身的精确率对比），无独立造假证据。作者在5.2.5节已明确讨论"加权投票精确率仅0.645，约35%的预测实体为错误输出"等权衡。该发现属于方法论讨论，不构成数据造假证据。
严重程度：🟡
复核状态：⚠️ 存在良性解释（属作者方法论讨论与权衡分析）

发现 11：作者背景与产出规模

位置：作者信息
描述：第一作者1997年生，标注为"高级工程师"；所在单位为"云南开放大学资产处"（行政岗位）；基金项目"25YNOU36"。
证据：原文作者信息原文命中（"徐鸿（1997—），男，云南省昆明市人，高级工程师"；单位"云南开放大学资产处"；基金项目"25YNOU36"）。属作者背景信息，无法据此推断学术不端；不构成数据造假证据。
严重程度：🟡
复核状态：⚠️ 依据不足（背景信息与产出匹配性问题，不能据此定罪）

耿同学辣评

作者一边诚恳承认"参考标准召回率只有51.9%、Stacking严重过拟合、循环验证是方法论陷阱"，另一边却报告了一堆小数点后三位几乎一模一样的F1和±0.001的"标准差"——这种"坦率承认缺陷但底层数据仍有猫腻"的组合，是2026年高水平打假选手的经典套路。Benford联合检验p=0.0000、奇偶比162:461、SD Bayes Factor=INF，这三个统计学核弹同时落在同一篇论文里，说是"自然巧合"我是不信的。图像取证方面，5张图全中copy-move、img-003一处250对匹配 + img-003/004 PRNU高度同源——这些图都是流程图、统计柱图、网络可视化，原告大概率是"统一导出管线"那张挡箭牌，但原文没声明导出细节，纯属通用托辞，不够洗白。但凡你敢把那48组SD的原始数据dump出来、再说清楚表1那个"F1标准差"列到底是啥、再把图像渲染脚本和哈希交出来，咱们还能再聊；否则这篇论文的F1数字，就像自助餐里摆得整整齐齐的水果拼盘——好看，但你不敢吃。

建议后续行动

联系作者要求提供48组带SD数据的原始实验记录（5次重复的每次F1原始值，而非仅报告均值±SD）
在 PubPeer 上提出关于SD聚集、末位数字偏离、Benford联合检验异常的具体质疑
向 ChinaXiv 编辑部举报统计学指纹异常
建议作者在独立人工标注基准（200-300篇）上重新评估后再发表
重点核查 img-003.jpg（copy-move 250对匹配）与 img-002.jpg（噪声CV=1.22）的视觉内容是否真为表格元素，并要求作者公开图像渲染脚本/管线信息
要求作者明确表1第5列"F1标准差"的定义

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。

🧮 证据合成（自动生成）

综合后验概率：≥99.9%（先验 5%）
95% 可信区间：[100%, 100%]
贝叶斯因子：BF = 4.18e+10（决定性（decisive））
综合评级：🔴 高度疑似
复核已排除线索：13 条（良性解释成立 / 检验前提不满足 / 说明性条目，未计入合成）

贡献最高的证据：

[S3] SD 模式多重异常：SD 小数位数完全一致；SD 严重聚类（共10个不同值，48组数据）（stats/sd_pattern，logLR=2.77）— 贡献 12.7%
[S1] Benford 联合检验：存在严重偏离（stats/benford，logLR=1.57）— 贡献 8.1%
[S4] Bayes Factor = INF:1 支持 SD 不等（即 SD 不可能完全相同）（stats/savage_dickey_bf，logLR=2.77）— 贡献 7.8%
[发现2] χ²=246.3 (p=0.0000)；奇偶比162/461=0.35；相邻末位偏差5.9σ，远超自然波动范围（llm/*，logLR=1.59）— 贡献 7.3%
[I6] [img-002.jpg] 检测到 copy-move 复制粘贴：偏移 (24,8) 处 9 对匹配块（image/copy_move，logLR=1.46）— 贡献 7%

免责：本小节由程序化贝叶斯合成自动生成，不构成学术不端判决。先验固定 5%，证据间按条件独立处理（可能高估相关证据的联合强度），LR 版本 geng_lr_v3（Phase 5 基准回归校准：任务级触发率比值+复核处置标签，n=11，向 v2 收缩 k=10）；可信区间与点估计来自同一后验（先验抽样 + LR 噪声的联合蒙特卡洛，区间随证据强度收敛）。请以正文具体发现与原始数据为准。

多LLM集成的科技论文知识抽取与前沿识别研究——以人工智能领域为例