正在加载...
请稍候

MSD-Score: Multi-Scale Distributional Scoring for Reference-Free Image Caption Evaluation

2026-10-08 08:25

🔍 耿同学打假报告

论文信息

  • 标题：MSD-Score: Multi-Scale Distributional Scoring for Reference-Free Image Caption Evaluation
  • 作者：Shichao Kan, Xuyang Zhang, Haojie Zhang 等（中南大学等机构）
  • 期刊：arXiv 预印本
  • DOI：arXiv:2605.06080v1 [cs.CV]（2026 年 5 月 7 日提交）
  • 发表年份：2026
  • 论文来源：2605.06080v1.pdf

综合评定：🟠 高度可疑

说明：本文为计算机视觉/度量评估类论文，不含 Western blot、凝胶电泳等生物图像。复核后保留两条确认成立的正文—表格数据不一致（发现 1、2），以及若干降级保留的统计与格式疑点。原文 PDF 提取文本存在大量字符缺失，部分统计检验前提在此类受控范围数据（百分数、0–1 权重）上不严格成立，相关线索已作降权处理。

详细发现

发现 1：正文引用数值与表格数据不符（Swap-Obj）

  • 位置：Sec. 3.3 与 Table 2
  • 描述：正文声称 "GMMs consistently underperform vMF-based models... (e.g., Swap-Obj: 54.29 vs. 63.67)"，即认为 vMF 相应数值为 63.67；但 Table 2 中 Swap-Obj 行的 vMF (Adaptive) 数值实为 56.33，表中无任何位置出现 63.67。且正文另一处称 Fixed-κ 相对 GMM 在 Swap-Obj 上增益 +7.34（54.29+7.34=61.63），与 63.67 也对不上，数字来源无法自洽。
  • 证据：正文原句与表格逐字比对不一致；程序化核验确认 54.29 与 63.67 两个引用数据点均在原文出现，而 63.67 不存在于 Table 2 的任何列。
  • 严重程度：🔴
  • 复核状态：✅ 成立

发现 2：Table 2 缺失整列数据却仍在正文中被引用

  • 位置：Table 2 及 Sec. 3.3 两处正文
  • 描述：Table 2 表头声明比较三个模型（GMM (Euclidean)、vMF (Adaptive)、vMF (Fixed, Ours)），但表中仅呈现两列数值（GMM 与 vMF (Adaptive)），vMF (Fixed, Ours) 列整体缺失。正文却声称 "achieving gains of +8.32 on Replace-Rel and +7.34 on Swap-Obj over GMM"，即基于一个表中不存在的列计算增量（以 GMM 列可反推 Replace-Rel Fixed 应为 66.36、Swap-Obj 应为 61.63，均无从核对）。
  • 证据：表格呈现与表头、正文声明三方矛盾；程序化核验确认正文增量数字确实存在但无法从表中数据推出。反方论证：可能为 PDF 提取截断所致，但表头三列声明与正文两处引用均与两列数值系统性不符，单纯截断难以完全解释。
  • 严重程度：🟠
  • 复核状态：✅ 成立

⚠️ 发现 3：图 2(d) 不同方法误差棒完全一致（视觉证据）

  • 位置：Figure 2(d)（Overall score comparison on CapArena）
  • 描述：视觉分析（置信度：高）显示 'Soft-MSD (Ours)' 与 'MSD (Ours)' 柱状图的误差棒在高度、宽度与垂直位置上完全相同，提示存在误差棒复制或人为修饰的可能。原报告还引用同页 copy-move 取证（587 对同偏移匹配）作为支持，但复核发现该取证条目对应页面亦含大量规则网格元素（坐标轴、面板边框、刻度），无法排除规则元素匹配的干扰，且原文文本对误差棒无任何描述可作正面佐证。所提良性解释在原文中无正面支持，仅为推测，故保留为疑点。
  • 证据：图像视觉分析（高置信度）+ 图像取证线索（需原始图像区域级确认）。
  • 严重程度：🔴→🟠
  • 复核状态：⚠️ 存在疑点（视觉证据强，但文本无可佐证内容，取证匹配需排除规则图表元素；建议作者提供误差棒原始数值）

⚠️ 发现 4：图 5 散点分布呈非自然的规则排列

  • 位置：Figure 5（Seed stability of local token clustering）
  • 描述：视觉分析（置信度：中）显示 vMF 组散点似排列在几条平行对角线上、形状过于规整，缺乏真实多种子 ARI 实验应有的自然离散度。原文正文仅报告 "0.534±0.238 vs. 0.358±0.174"，对散点分布形态无任何文字描述可作正反佐证；亦可能由绘图代码（如网格对齐、坐标取整）所致。需原始逐 caption ARI 数值核验。
  • 证据：视觉分析（中等置信度），无文本佐证。
  • 严重程度：🟠→🟡
  • 复核状态：⚠️ 依据不足（视觉结论无法在原文文本中找到正面依据，建议核查绘图代码与原始数据）

⚠️ 发现 5：ARI 统计量与"更高稳定性"结论之间的张力

  • 位置：Sec. 3.3
  • 描述：正文称 "vMF mixtures achieve substantially higher stability than GMMs (0.534±0.238 vs. 0.358±0.174)"，SD（0.238/0.174）与均值同量级。但反方论证：该 SD 更可能是跨 caption 的离散度而非跨 seed 的稳定性度量，"更高稳定性"可由均值更高（0.534 vs 0.358）直接支持，原报告所谓"统计量与图形相互矛盾"的推断（依赖发现 4 的视觉判断）依据不足。
  • 证据：程序化核验确认统计量原文命中；但原报告的推理链条为解释性推测。
  • 严重程度：🟡
  • 复核状态：⚠️ 依据不足（良性解释——SD 为跨 caption 离散度、稳定性由均值差异体现——具有合理性）

⚠️ 发现 6：Table 3 中 CLIPScore 行 Spearman/Kendall 符号组合异常

  • 位置：Table 3
  • 描述：CLIPScore 行报告 Spearman "−0.574"、Kendall "0.451"；CIDEr 行报告 "−0.279 / 0.209"。对同一组模型排名，Spearman 为负而 Kendall 为正的符号组合在数学上几乎不可能同时成立（两者对同一排序的符号应一致）。反方论证：可能为 PDF 提取时负号丢失或表格排版串位所致；且模型数量少（CapArena 仅数个模型）时排序相关性数值波动较大。Table 1 中同一 CLIPScore CapArena 行显示 "0.574"（无负号），与 Table 3 的 "−0.574" 亦存在符号不一致，提示可能为提取/排版问题而非数据造假，需核对原始表格。
  • 证据：程序化核验确认 4 个数据点均原文命中。
  • 严重程度：🟡
  • 复核状态：⚠️ 存在疑点（符号矛盾客观存在，但存在"负号提取丢失"这一合理的非恶意解释，需原版 PDF 表格核对）

⚠️ 发现 7：Table 5 中 Soft-MSD 行报告格式与命名不一致

  • 位置：Table 4 caption / Table 5 / 引用 [34]
  • 描述：DocENT 基准在 Table 4 caption 中写作 "DocENT (PoSh)"，而引用 [34] 显示 PoSh 是该论文提出的方法/基准名，命名存在不一致；Table 5 中 Soft-MSD (ours) 行仅报告 6 个数值（"57.5 58.3 39.4 19.7 60.3 69.4"），与其余完整方法行（10–11 个数值）格式不一致，部分列缺失且未以 "-" 标注（表中其他方法如 UMIC、EXPERT 缺失处均以 "-" 标注），存在选择性报告嫌疑。反方论证：也可能为排版提取遗漏，且该表自述为"补充证据"，不影响主结论。
  • 证据：程序化核验确认 3 个数据点均原文命中。
  • 严重程度：🟡
  • 复核状态：⚠️ 依据不足（版本/排版问题与选择性报告均有可能，需核对原始表格）

已删除的复核不成立结论

  • 原发现 7（表序引用错乱与 Table 3/Table 11 数值逐字重复）：复核不成立，已删除。核验显示正文中 "The results in Table 11 empirically corroborate..." 实际存在于原文（机器核验疑因跨行断字漏检）；且 Table 11 三个 KL 变体中仅最优变体 Soft-MSD(KL(Ptxt∥Pimg)) 与 Table 3 主结果一致（另两变体为 55.6、56.4，均不同）——这恰好符合"完整 Soft-MSD 采用该 KL 方向"的方法设定，属预期一致而非行复制。
  • 原发现 8（Benford/末位数字取证统计线索）：不作为独立发现保留。该论文数值主体为受控范围数据（0–1 的 token 权重如 "house (0.26)"、0–100 的百分数准确率），Benford 与末位均匀性检验的前提在此类数据上不成立，程序化统计线索（S1/S2）经反方论证判定为检验前提不满足，予以清除。

耿同学辣评

正文写 63.67、表格只给 56.33，表头吹三个模型、表身只站两列——正文和表格像是两个平行宇宙各自跑的实验，这是本文最硬的两处硬伤，作者必须给出解释。图 2(d) 那对一模一样的误差棒虽然文本层面查无实据，但视觉上实在太"整齐"，建议连误差棒原始数值一起交出来。至于 Benford 检验那点风吹草动，这次就不定罪了——拿热力图权重去验 Benford，是我们工具的错，不是论文的错。

建议后续行动

  • 联系作者要求澄清 Table 2 与正文 "63.67" 的数据来源，并补全 vMF (Fixed, Ours) 完整列
  • 要求提供 Fig. 2(d) 误差棒的原始数值及 Fig. 5 的逐 caption ARI 原始值
  • 核对 Table 1 与 Table 3 中 CLIPScore Spearman 的符号，以及 Table 5 Soft-MSD 行的完整数值
  • 在 PubPeer 上提出上述具体数据不一致问题（当前为 arXiv 预印本，可同时向 arXiv 管理方反映）

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。

🧮 证据合成（自动生成）

  • 综合后验概率：≥99.9%（先验 5%）
  • 95% 可信区间：[100%, 100%]
  • 贝叶斯因子：BF = 3.79e+7（决定性（decisive））
  • 综合评级：🔴 高度疑似
  • 复核已排除线索：54 条（良性解释成立 / 检验前提不满足 / 说明性条目，未计入合成）

贡献最高的证据：

  1. [T1] AI 生成文本特征（text/ai_generated，logLR=1.97）— 贡献 12.1%
  2. [发现2] 表头声明比较 GMM/vMF Adaptive/vMF Fixed 三列，表中仅有两列，正文却报告相对 GMM 的增益数值。（llm/*，logLR=1.59）— 贡献 12.1%
  3. [发现1] 正文声称 vMF Adaptive 在 Swap-Obj 上为 63.67，但 Table 2 实际为 56.33，且 63.67 全表不存在。（llm/*，logLR=1.59）— 贡献 11.2%
  4. [I52] [img-028.jpg vs img-030.jpg] PRNU 高度同源（NCC=0.838, PCE=111.5）→ 两图极可能同一传感器/管线（image/prnu_compare，logLR=1.34）— 贡献 8%
  5. [I53] [img-031.jpg vs img-032.jpg] PRNU 高度同源（NCC=0.881, PCE=110.9）→ 两图极可能同一传感器/管线（image/prnu_compare，logLR=1.34）— 贡献 7.5%

免责：本小节由程序化贝叶斯合成自动生成，不构成学术不端判决。先验固定 5%，证据间按条件独立处理（可能高估相关证据的联合强度），LR 版本 geng_lr_v3（Phase 5 基准回归校准：任务级触发率比值+复核处置标签，n=11，向 v2 收缩 k=10）；可信区间与点估计来自同一后验（先验抽样 + LR 噪声的联合蒙特卡洛，区间随证据强度收敛）。请以正文具体发现与原始数据为准。

返回报告库