Loading...
正在加载...
请稍候

Paraphrase-Based Retrieval-Augmented Generation System for Free-Format Enterprise Spreadsheet Documentation

2026-08-05 06:56

🔍 耿同学打假报告

论文信息

  • 标题:Paraphrase-Based Retrieval-Augmented Generation System for Free-Format Enterprise Spreadsheet Documentation
  • 作者:Jinan Dai, Shinji Itoh
  • 期刊:未明确标明(从排版和参考文献格式推测为 IEEE 或 ACM 相关会议/期刊)
  • DOI:未提供
  • 发表年份:推测为 2025/2026 年(结合当前日期及文中引用的 2025 年文献)
  • 论文来源:paper_3378.pdf

综合评定:✅ 清白

详细发现

发现 1:数据自洽性审查(表格交叉验证无异常)

  • 位置:Table I / Table IV / Table V
  • 描述:视觉分析摘要曾指出 Table V(FP32 Correctness)中的部分数据(如 66.90%)高于 Table I 中的最高值,对此提出了轻微质疑。但经过文本逻辑与数据的交叉比对,发现这并非造假,而是作者严谨实验设计的体现。
  • 证据:论文正文明确提到“在许多主流搜索引擎(包括 Elasticsearch)中,INT8 量化是默认启用的”。Table I 报告的正是系统在默认配置下的表现。我们将 Table V 的 INT8 Correctness 列与 Table I 进行比对:
    • Qwen3-30B-A3B + bge-m3:Table I (62.37%) = Table V INT8 (62.37%) —— 完全吻合
    • Qwen3-30B-A3B + multilingual-e5-large:Table I (62.37%) = Table V INT8 (62.37%) —— 完全吻合
    • gpt-oss-120b + bge-m3:Table I (59.23%) = Table V INT8 (59.23%) —— 完全吻合
    • gpt-oss-120b + multilingual-e5-large:Table I (63.41%) = Table V INT8 (63.41%) —— 完全吻合
      同时,Table IV(向量中心化实验)的 Baseline 列数据也与上述 INT8 基准完全一致。这种跨表格极度的数据自洽性,不仅排除了随机数造假的可能,反而证明了作者控制变量的极度规范。
  • 严重程度:🟡(澄清视觉摘要的疑虑)
  • 复核状态:✅ 成立

⚠️ 发现 2:引用与方法学异常(文本乱码与排版丢失)

  • 位置:Appendix B / Section V.C
  • 描述:在附录的提示词模板及正文中,出现了无意义的乱码字符以及不完整的句子结构。提示存在排版瑕疵的可能,亦可能由 PDF 提取过程中的字符编码错误所致,并非作者伪造数据。
  • 证据:原文附录 B 标题后紧跟乱码:“ごとづ てはぬぬはぷどので ばひはねばぴ ぷちび ふびづつ てはひ ぴとづ 。のちぬ でづのづひちぴどはの phase, strictly grounding the LLM's response on the originally retrieved JSON format...” 以及正文 Section V.C 中出现 “つづ。のづつ どの<Requirement>.” 和 “fゔ。ぬづのちねづゔ〺 〤f。ぬづのちねづg”。
  • 严重程度:🟡(未影响核心实验结论)
  • 复核状态:⚠️ 存在良性解释(PDF提取或字体编码转换过程产生的文本乱码,属于排版瑕疵而非学术造假)

⚠️ 发现 3:引用与方法学异常(模型命名与时间线)

  • 位置:Section V.B
  • 描述:文中提及使用了名为 gpt-oss-120b 的高级推理模型,并称其配置了 medium reasoning effort。该名称较不常见,提示需要作者进一步明确其具体出处。但在当前 AI 模型爆发式更新的背景下,亦可能由其为最新发布模型的内部别称或特定分支所致,目前无充分证据表明其为虚构模型。
  • 证据:原文 V.B 节确实存在对该模型的配置描述,并在 Table I 中多次作为生成模型列出评测结果。
  • 严重程度:🟡
  • 复核状态:⚠️ 依据不足

耿同学辣评

这数据严丝合缝的程度,造假者看了都得连夜补习线性代数!别的论文是生怕你对不上,这篇论文是生怕你以为它对不上,Table I、IV、V 的控制变量玩得明明白白。至于附录里那堆“ふびづつてはひ”的乱码,大概率是字体编码没处理好背了锅,属于排版小瑕疵,不影响核心数据的清白。至于那个罕见的模型名,就让子弹再飞一会儿吧。

建议后续行动

  • 无需联系作者要求提供原始数据(数据已高度自洽)
  • 无需在 PubPeer 上提出质疑
  • 无需向期刊编辑部举报
  • 建议作者在未来版本中修复附录的 PDF 乱码问题

⚠️ 免责声明

本报告由 AI 辅助生成,仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信,但也尊重每一位研究者的名誉权。
如有异议,请以官方调查结论为准。
本工具不保证检测结果的准确性,误报和漏报均有可能。