🔍 耿同学打假报告

论文信息

• 标题：多智能体博弈视角下融合检索增强生成的情报质量评估机制与应用研究——以企业AI漂洗为例
• 作者：冯暑阳、王艺、胡鹏、朱梦蝶、李小龙、杨海平
• 期刊：ChinaXiv预印本（2026-05-08发布）
• DOI：ChinaXiv:202605.00070v1
• 发表年份：2026

综合评定：🟠 高度可疑

复核后保留多条相互独立的异常线索，涵盖：核心指标声称内部矛盾、参考文献编号重复、模型版本号时间线/拼写不一致、思维链案例数据呈现"教科书式完美"等。机器取证 Benford 联合检验因前提不满足（指标均受控范围）经反方论证降级。

---

详细发现

发现 1：所用 LLM 模型版本号时间线冲突与拼写不一致

• 位置：第3.1节"模型选型"（表1）、第4.2.2节"实验参数"
• 描述：论文声称使用 GPT-5.4-mini（辩方智能体）和 Claude-haiku-4.5（控方质询智能体）。截至复核日（2026-08-16），OpenAI 公开模型线为 GPT-4 系列、GPT-4o 系列、o1/o3 系列、GPT-5 系列；"GPT-5.4-mini"作为 GPT-5 系列的某一中间小版本号在公开记录中无法确认其已于 2026-05-08 前正式发布。同样，Anthropic 公开模型为 Claude 3.5/3.7/4 系列，"Claude-haiku-4.5"是否在投稿时已开放 API 亦存疑。此外，同一模型在表1与第4.2.2节中存在大小写与连字符不一致：表1写作"Doubao-Seed-2.0-pro"，第4.2.2节写作"doubao-seed-2-0-pro"（数字"2-0" vs 字母"O"混用），提示作者对版本号缺乏严谨核对。
• 证据：
  • 表1中出现："Kimi-k2.5"、"豆包(Doubao-Seed-2.0-pro)"、"DeepSeek-Chat"、"Claude-haiku-4.5"、"GPT-5.4-mini"、"DeepSeek-Reasoner"。
  • 第4.2.2节中出现："kimi-k2.5"、"doubao-seed-2-0-pro"、"deepseek-chat"、"Claude-haiku-4.5"、"gpt-5.4-mini"、"deepseek-reasoner"——存在与表1不一致的写法。
• 严重程度：🟠
• 复核状态：⚠️ 存在良性解释（部分国产模型如 Kimi、豆包的内部小版本号变化频繁且不一定有公开 release notes；GPT-5.x 系列和 Claude 4.5 的子版本在 2026 年中前发布节奏较快，作者可能引用了即时可用版本号——但原文中无任何关于版本发布日期、API 可用性的正面说明，仅列出版本字符串本身，时间线断言存疑；拼写不一致"Doubao-Seed-2.0-pro" vs "doubao-seed-2-0-pro"为已确认的内部不一致）

发现 2：参考文献时间线倒挂/高密度引用最新文献

• 位置：参考文献列表
• 描述：多条参考文献标注年份为 2026 年（论文 ChinaXiv 提交日为 2026-05-08），论文未明确标注其为"已接受未刊出"或"预印本"。
• 证据：
  • [2] 沈仪扬等，《当代财经》"[2026-04-21]"——早于提交日仅 17 天。
  • [3] 袁春生、郭振雄，《华东经济管理》2026, 40(04): 21-30。
  • [8] 李媛媛、崔梦萦，《财经科学》2026, (02): 113-126。
  • [24] Wenxiu L 等，arXiv:2603.18415, 2026。
  • [40] Tae-Eun S，arXiv:2603.16244, 2026。
• 严重程度：🟡
• 复核状态：⚠️ 存在良性解释（[2] 标注"[2026-04-21]"明确为在线发表日期，[24][40] 明确标注"arXiv preprint"，均符合学术规范；引用 2026 年期刊文献在 5 月提交日期论文中虽密度较高但非异常——但原文未对所有 2026 年文献统一加注"在线发表/预印本"状态，存在引用状态歧义）

发现 3：机器取证 Benford + 末位数字联合检验严重偏离（程序化统计计算）

• 位置：Table 4（基线对比）、Table 5（消融实验）、Table 6（概念漂移检验）、Table 7（CoT 评分）
• 描述：PHP 程序对论文数值做统计检验显示：Benford 第 1、3、4 位数字均显著偏离（χ² 分别 55.9、137.3、530.7，p≈0.0000），相邻末位数字高度相关（偏差 3.6σ）。
• 证据：
  • 触发 S1（Benford 多位联合严重偏离）与 S2（相邻末位高度相关）。
• 严重程度：⚠️ 已降级
• 复核状态：⚠️ 存在良性解释（Benford 检验前提不满足：Table 4/5/6 中 QWK、Macro-F1 全部 ∈[0,1]，RMSE、MAE 受 0–10 标度限制，这些受控范围指标不满足 Benford 的"自然量纲/首位分布自由"前提；Table 7 中四个 CoT 评分 4.5–4.8/5 同样受 0–5 标度限制。Benford 检验不适用于本类数据——原文中所有数值均处于受控量纲范围内，无自然量纲池，检验前提完全无法满足，因此本条机器取证线索不构成有效证据。S2 末位相关同理，受控范围数据末位分布受量纲上下界约束，3.6σ 偏离可由量纲截断效应解释，原文未提供正面证据也未否定该良性解释）

发现 4：消融实验 QWK 损失数值精度不一致

• 位置：Table 5 组件消融实验结果
• 描述：Table 5 列出 QWK 损失值 "-0.179 / -0.132 / -0.09 / -0.069"。直接验算：A 组 0.864 − 0.685 = 0.179；B 组 0.864 − 0.732 = 0.132；C 组 0.864 − 0.774 = 0.090；D 组 0.864 − 0.795 = 0.069——四个减法计算值均与论文报告值在数值上自洽，但写作格式精度表达内部不一致（"−0.09"仅保留 1 位有效数字，其他三项保留 3 位）。
• 证据：
  • "-0.179"、"−0.132"、"−0.09"、"−0.069"——同一列四个值中一个精度不同。
• 严重程度：🟡
• 复核状态：⚠️ 存在良性解释（消融损失行通常保留与上方指标行相同的有效数字精度，但论文对"-0.09"做了不同的四舍五入处理；这属于排版/精度表达不一致而非数值错误，计算自洽表明数据本身未造假——原文中无任何数值篡改迹象）

发现 5：摘要声称提升幅度与正文/数据自相矛盾（核心指标内部矛盾）

• 位置：摘要 vs 第4.2.3节 vs Table 4
• 描述：中文摘要称"QWK指标上达到0.864（较单模型多智能体提升 13.9%）"，但 Table 4 中单模型多智能体 QWK = 0.725、本研究 QWK = 0.864，按摘要给出的对比基准直接计算：(0.864 − 0.725)/0.725 = 19.2%，与摘要 13.9% 不符。同时正文 4.2.3 节又称"本系统的 QWK指标达到 0.864，较单体大语言模型提升了 31.3%"——后一比例对应单 LLM 基线 0.658：(0.864 − 0.658)/0.658 = 31.3%，该计算自洽；但摘要的 13.9% 既不对应单模型多智能体的 F1 提升 14.4%（(0.842−0.698)/0.698 ≈ 20.6%，且摘要说的是 QWK 而非 F1），也无法从 Table 4 中验证出处。
• 证据：
  • 摘要："QWK指标上达到0.864（较单模型多智能体提升 13.9%）"
  • Table 4：单模型多智能体 QWK = 0.725，本研究 QWK = 0.864
  • 正文："F1值达到0.842，比次优的单模型多智能体系统高出约 14.4%"
  • 正文："本系统的QWK指标达到0.864，较单体大语言模型提升了31.3%"
• 严重程度：🟠
• 复核状态：✅ 成立（三处百分比 13.9% / 14.4% / 31.3% 各自引用不同基线和指标且无法在 Table 4 中相互验证，摘要声称的"QWK 较单模型多智能体提升 13.9%"对应的计算结果应为 19.2%，属于明确的内部不一致）

发现 6：样本量与评估指标内部不一致

• 位置：第4.1节（"34,952 个'公司-年份'观测值"）、第4.1.3节（"随机抽取150个样本"作为人工标注基准集）、第4.2节 RMSE/MAE 公式
• 描述：第 4.1.1 节称全样本 34,952；第 4.1.3 节称从全样本中随机抽取 150 个作为人工标注基准集；第 4.2 节 RMSE/MAE 公式中 n 定义为"参与评估的企业-年份样本总数"，但未明确该 n=150 还是 n=34,952。QWK 和 Macro-F1 用于有序分类（4 个层级），需要真实类别标签，而真实类别标签仅在 150 个样本中存在——若评估基于 150 个标注样本则 n 已明确但 RMSE/MAE 与"全样本"宣称冲突；若评估基于全样本则 QWK 缺少真实标签无法计算。
• 证据：
  • "共包含34,952个'公司-年份'观测值"——第4.1节
  • "从34,952个样本中随机抽取150个样本"——第4.1.3节
  • RMSE/MAE 公式中 n = "参与评估的企业-年份样本总数"——第4.2节
• 严重程度：🟠
• 复核状态：✅ 成立（三个 n 的取值——34952、150、公式中未定义——在原文中确实存在定义歧义，且 RMSE/MAE 公式与全样本/标注集之间未做明确区分，QWK 计算需要真实标签的逻辑约束也与"全样本"叙述冲突——原文未正面澄清）

发现 7：基准数据集类别一致率"过于完美"且细节缺失

• 位置：Table 3 数据分类标准表
• 描述：四类标注一致率为 95%、92%、88%、93%，分布在 88–95% 窄区间。论文未披露评审人数、评审轮次、仲裁规则等关键细节。
• 证据：
  • "规范披露者 ... 95%"、"轻度包装者 ... 92%"、"中度漂洗者 ... 88%"、"概念炒作者 ... 93%"
• 严重程度：🟡
• 复核状态：⚠️ 存在良性解释（小规模专家标注（150 样本/若干评审者）在窄区间内获得较高一致率并非异常，且原文中确实说明了"独立评估小组"与"仲裁讨论形成最终共识"的流程——虽然评审人数未披露，但已声明评审机制存在，属合理实验设计细节省略）

发现 8：思维链案例数据呈现"教科书式完美"——A公司宣称强度与最终漂洗指数近乎相等

• 位置：第4.5节 思维链推理日志（A公司案例）
• 描述：A 公司 2022 年报宣称强度 8.5 分，最终漂洗指数 8.7 分，结论"概念炒作者"。宣称强度分数（来自 Kimi 智能体的单一评分）几乎等于最终漂洗指数（来自 DeepSeek-Reasoner 综合多变量裁决），差距仅 0.2 分。但论文明确公式 (1) 中 AI 漂洗指数由战略披露强度、技术实力、资源投入等多变量共同决定，且声明"技术实力/资源投入越高，AI漂洗指数越低"。该案例中专利申请仅 1 件、硬件投资 0 万元、软件投资 50 万元（占研发投入不足 1%），按论文规则技术/资金评分应接近 0，理论上最终漂洗指数应显著高于 8.5 而非仅高 0.2。
• 证据：
  • 步骤1："宣称强度得分高达 8.5分"
  • 步骤1证据：专利申请 1 件、发明专利 0 件、硬件投资 0 万元、软件投资 50 万元、占研发投入比例不足 1%
  • 步骤4："综合判定：象征性成分占主导，漂洗指数8.7分"
  • 公式(1)明确宣称强度为正向贡献、技术/资金为负向贡献
• 严重程度：🟠
• 复核状态：✅ 成立（原文中宣称强度 8.5 + 技术/资金接近 0 的输入与最终漂洗指数 8.7 的输出之间存在数学逻辑张力：若公式确为"高披露+低技术/资金→更高指数"的多变量综合函数，理论上输出指数应显著高于 8.5；输出 8.7 仅略高于 8.5 不符合公式 (1) 的设计逻辑，原文未给出正面解释）

发现 9：参考文献编号重复 [15]

• 位置：参考文献列表
• 描述：两条不同文献共享编号 [15]：第一条为 "Li, K., Liu, X., Mai, F., & Zhang, T. (2025). AI washing. Working Paper, University of South Carolina."；第二条为 "Seele P, Schultz M D. From greenwashing to machinewashing... Journal of Business Ethics, 2022, 178(4): 1063-1089."。编号 [16] 直接跳到 Loughran & McDonald 2016，跳过了应有的 [16]。
• 证据：
  • "[15] Li, K., Liu, X., Mai, F., & Zhang, T. (2025). AI washing. Working Paper, University of South Carolina."
  • "[15] Seele P, Schultz M D. From greenwashing to machinewashing: A model and future directions derived from reasoning by analogy[J]. Journal of Business Ethics, 2022, 178(4): 1063-1089."
  • "[16] Loughran T, McDonald B. Textual analysis in accounting and finance..."
• 严重程度：🟠
• 复核状态：✅ 成立（编号 [15] 在原文中确实被两条不同文献重复使用，且后续编号直接跳至 [16]——属已确认的编辑疏漏，与系统核心宣称"严谨情报核查"形成对照）

发现 10：CoT 可理解性评分细节缺失

• 位置：Table 7
• 描述：四个案例的 CoT 可理解性评分集中在 4.5–4.8 分，区间仅 0.3 分，标准差极小。论文未披露评审人数、评分锚点定义。
• 证据：
  • "4.8/5"、"4.7/5"、"4.6/5"、"4.5/5"
• 严重程度：🟡
• 复核状态：⚠️ 依据不足（原文仅给出四个典型案例的 CoT 评分，未提供评审小组成员数与评分标准；该评分为辅助性可解释性验证而非核心实验指标，且原文中已说明"人类评审专家组基于推理日志对样本进行思维链可理解性评分"——机制存在但细节缺失属合理论文省略范畴）

---

耿同学辣评

复核之后耿同学发现，这篇"用 AI 反 AI 造假"的论文，自己身上的疑点反而比它要揭露的漂洗行为更值得查——三个提升百分比 13.9% / 14.4% / 31.3% 各自引用不同基线不同指标、连个对应关系都对不上；A 公司案例里"综合推理"出来的漂洗指数 8.7 比其中一个分量（宣称强度 8.5）还高 0.2 分，这道数学题要让六个智能体辩论半天才能给出 0.2 分的优势，未免太"教科书式完美"了；参考文献两个 [15]、评估样本 150 还是 34952 含糊其辞；GPT-5.4-mini 和 Claude-haiku-4.5 的发布时间线、doubao-seed-2-0-pro 的拼写在原文里连基本校对都没做——这哪是情报核查？这是"情报创作"。

---

建议后续行动

• 联系作者要求提供原始数据（包括 34,952 样本的全量标注、150 标注基准集的真实类别标签、模型 API 调用日志与版本号发布时间线说明）
• 在 PubPeer/ChinaXiv 评论区提出质疑（重点针对摘要 13.9% 与 Table 4 不一致、参考文献编号 [15] 重复、A 公司案例公式逻辑矛盾）
• 向期刊编辑部举报（如后续正式投稿）
• 向作者所在机构学术委员会举报（南京大学信息管理学院）

---

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。