正在加载...
请稍候

ConMem: Structured Memory-Guided Adaptation in Training-Free Multi-Agent Systems

2026-10-08 08:44

🔍 耿同学打假报告

论文信息

  • 标题：ConMem: Structured Memory-Guided Adaptation in Training-Free Multi-Agent Systems
  • 作者：Zhixun Tan, Qiang Chen, Tairan Huang, Xiu Su, Yi Chen（中南大学 / 港科大）
  • 期刊：arXiv 预印本（Paper Under Review）
  • DOI/arXiv：arXiv:2606.08702v1
  • 发表年份：2026（v1 提交于 2026-06-07）
  • 论文来源：2606.08702v1.pdf

综合评定：🟠 高度可疑

详细发现

发现 1：正文声明与 Table 1 数据直接矛盾（最严重）

  • 位置：Section 5.2 "Main Results" vs Table 1
  • 描述：正文声称 ConMem "improves over LatentMem by 0.95–1.81 points and matches or slightly improves over ReMe by 0.02–0.87 points"。但 Table 1 中可直接核对的 Average 数值显示相反结论：
    • AutoGen：ReMe 平均 59.85 > ConMem 58.33（ConMem 落后 1.52）；LatentMem 57.46，ConMem 仅领先 0.87（不在声称的 0.95–1.81 区间内）
    • CAMEL：ReMe 58.33 > ConMem 56.42；LatentMem 55.68，领先 0.74
    • MacNet：ReMe 61.33 > ConMem 55.35（落后近 6 分）；LatentMem 55.33，仅领先 0.02
  • 证据：以论文自身文本可复算：58.33−59.85=−1.52；56.42−58.33=−1.91；55.35−61.33=−5.98。三个 host 级平均上 ConMem 全部输给 ReMe，与正文声明的方向系统性地相反。程序化核验确认所引 8 个数据点全部在原文命中。这种“文字描述与表格方向相反”的模式，是结果被挑选/编造后未对齐的典型痕迹。另注意巧合：ReMe 在 CAMEL 的平均（58.33）与 ConMem 在 AutoGen 的平均（58.33）数值完全相同。
  • 严重程度：🔴
  • 复核状态：✅ 成立

⚠️ 发现 2：声称的对比数目存在疑点

  • 位置：Section 5.2
  • 描述：原文片段为"…of 15 host–metric comparisons and second in the remaining 7"。由于该句关键数字在提供的文本中被截断（"best in X of 15"中的 X 缺失），若 X=8 则 8+7=15 恰好自洽；若按原报告理解为"15+7=22"则矛盾。因关键数字缺失，该条无法定论。另正文同段声称 "cross-host average improvements ranging from 10.9 to 12.9 absolute points over No-memory"（可复算自洽：58.33−45.97=12.36、56.42−45.54=10.88、55.35−42.45=12.90），说明作者算术能力正常，与发现 1 的方向性错误形成反差。
  • 证据："…of 15 host–metric comparisons and second in the remaining 7"（前文数字缺失）；"cross-host average improvements ranging …"（弱匹配，特征数字命中）。
  • 严重程度：🟡
  • 复核状态：⚠️ 依据不足（关键对比数字在原文中被截断，无法判断是否真为自相矛盾）

⚠️ 发现 3：Table 1 结果“全胜 + 区间极窄”过于完美

  • 位置：Table 1
  • 描述：ConMem（full）行在所有 host × benchmark 单元格上均标注为提升（teal↑），Average 列提升均匀落在约 +10.9~12.9；四个不同性质的任务（QA、代码、规划）呈现几乎同质的增益。跨任务类型如此一致的效应量在真实 LLM 实验中较为罕见。
  • 证据：如 "74.73↑.42 80.80↑.40 49.90↑.12 27.90↑.51 58.33↑.36"（AutoGen）与 "71.03↑.07 80.45↑.75 45.73↑.35 28.48↑.38 56.42↑.88"（CAMEL）等行模式高度雷同。存在良性解释：论文明确声明使用"deterministic decoding"，且为同一次大规模 prequential 连续评测，增益均来自同一 No-memory 基线（45.97/45.54/42.45），同批确定性跑分下方差天然偏小。该良性假设有原文正面依据（方法部分确定性解码声明），故降级保留，需原始运行日志进一步确认。
  • 严重程度：🟡
  • 复核状态：⚠️ 存在良性解释（原文声明确定性解码 + 同批 prequential 大规模评测，同质增益可能源于此）

⚠️ 发现 4：Figure 4 两条独立系统动态曲线异常同步

  • 位置：Figure 4（Bank size / Negative-card ratio）
  • 描述：AutoGen 与 CAMEL 两个不同的 MAS 架构，其 Active cards 增长曲线和 Negative-card ratio 曲线在视觉上高度同步、平滑。真实在线记忆库演化应对 host 调度差异敏感。
  • 证据：视觉分析摘要指出两条曲线“数据点高度几乎完全重合或呈现极度平滑的同步趋势”。文中自身也承认两者存在差异（"CAMEL accumulates 129 more cards and 998 more typed edges than AutoGen"、"negative-card ratio differs by only 0.3 percentage points"），与图上近乎重合的曲线形成张力。原文中未找到支持曲线同步的正面良性依据（如同一 bank 共享、平滑处理声明等），所提任何良性解释仅为推测，保留疑点，要求提供逐 round 底层数据。
  • 严重程度：🟠
  • 复核状态：⚠️ 存在疑点（视觉分析提示曲线过度同步，正文自述的差异与图形观感矛盾，良性解释在原文中无正面支持，需原始数据核验）

⚠️ 发现 5：多张子图存在完全相同偏移的复制块

  • 位置：图 7–10（card-bank 子图，img-015/017/019/021/023/025.png）
  • 描述：机器取证在 6 张不同的子图页内检测到完全相同的 copy-move 偏移 (-24, 24)、且匹配对数完全一致（78 对）。图 6/10 中 "support 14 satisfy 2 constrain 2 conflict 9" 的 MacNet·PDDL 面板与 Figure 10 的 MacNet·PDDL 数字重复出现。
  • 证据：候选良性解释——这些是多面板示意图，共用绘图模板（节点框、坐标框、图例元素按固定偏移平移）足以产生同偏移匹配；figure 本身为程序生成的示意图而非实验照片。但该解释在原文中无正面支持（原文未声明绘图模板共用），仅为推测；"6 张图、同一偏移、同一匹配数”的整齐划一构成批量信号，要求作者提供绘图源文件。最低保留为疑点。
  • 严重程度：🟡
  • 复核状态：⚠️ 存在疑点（机器取证强证据线索；所提模板共用良性解释在原文中无正面支持，仅为推测）

发现 6：Benford 检验偏离——本例不适用

  • 位置：机器取证 S1
  • 描述：程序报告前 4 位数字均显著偏离 Benford 分布，但 Table 1 数值是范围受控的基准分数（约 16–81、两位小数）及由其导出的 Δ 值，首位/前几位数字受量程硬约束，Benford 检验前提不满足，不作为证据采用。
  • 证据：如 "60.31 68.40 38.78 16.39" 等均为有界分数。
  • 严重程度：🟡（检测前提不成立，予以剔除说明）
  • 复核状态：✅ 成立（该条本身即“前提不适用”的剔除结论，处置为 informational）

⚠️ 发现 7：正文关键句残缺，摘要声明无法核验

  • 位置：Abstract / Introduction / Section 5.3
  • 描述：多处关键定量声明在文本中被截断或残缺，如 "with proved inference-time efficiency 50%of expanded candidates and reducing planning overhead by over."、正文"> of expanded candidates in every setting and > on planning"。摘要声称的核心效率优势（剪枝比例、规划开销降幅）在现有文本中找不到完整可核验的数值。
  • 证据：摘要句 "reducing planning overhead by over." 及 Coordination Efficiency 段的 "> of expanded candidates"。无法判断是排版事故还是有意规避核验，但图 5 给出的具体数值（-54.7 至 -81.7）与"50%"量级尚自洽，暂不升格。
  • 严重程度：🟡
  • 复核状态：⚠️ 依据不足（文本残缺致关键定量声明无法核验，无法判断为排版事故还是其他原因）

耿同学辣评

表格里 ReMe 三个 host 平均全线压制 ConMem（−1.52、−1.91、−5.98），正文却吹“对 ReMe 提升 0.02–0.87"——这不是记忆图，这是把评审的记忆也当成了 frozen host：只注入对自己有利的卡片。再叠加 Figure 4 两条“双胞胎”动态曲线和 6 张图同一偏移的复制块，这篇文章欠评审的不是一个解释，是一整包原始日志。

建议后续行动

  • 联系作者要求提供 Table 1 的完整原始数值、运行日志与导出的 CSV
  • 要求作者解释正文 "0.95–1.81 / 0.02–0.87" 声明与表格方向的矛盾（发现 1，最高优先级）
  • 要求提供 Figure 4 底层逐 round 的 bank 统计数据与绘图源文件
  • 要求提供 Figures 7–10 的绘图源文件以排除同偏移复制块的疑虑
  • 要求提供完整排版正确的正文版本以核验被截断的效率声明（发现 2、7）
  • 在 PubPeer 上提出质疑
  • 向期刊/会议编辑部举报（该文标注 Paper Under Review）

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。

🧮 证据合成（自动生成）

  • 综合后验概率：≥99.9%（先验 5%）
  • 95% 可信区间：[100%, 100%]
  • 贝叶斯因子：BF = 9.38e+21（决定性（decisive））
  • 综合评级：🔴 高度疑似
  • 复核已排除线索：46 条（良性解释成立 / 检验前提不满足 / 说明性条目，未计入合成）

贡献最高的证据：

  1. [I78] [img-001.jpg vs img-007.jpg] PRNU 高度同源（NCC=1.000, PCE=128.0）→ 两图极可能同一传感器/管线（image/prnu_compare，logLR=1.34）— 贡献 3.8%
  2. [I52] [img-031.png] 检测到 copy-move 复制粘贴：偏移 (0,104) 处 20 对匹配块（image/copy_move，logLR=1.46）— 贡献 3.6%
  3. [I31] [img-015.png] 检测到 copy-move 复制粘贴：偏移 (-24,24) 处 78 对匹配块（image/copy_move，logLR=1.46）— 贡献 3.5%
  4. [I56] [img-033.png] 检测到 copy-move 复制粘贴：偏移 (0,32) 处 9 对匹配块（image/copy_move，logLR=1.46）— 贡献 3.4%
  5. [I77] [img-001.jpg vs img-006.jpg] PRNU 高度同源（NCC=1.000, PCE=128.0）→ 两图极可能同一传感器/管线（image/prnu_compare，logLR=1.34）— 贡献 3.4%

免责：本小节由程序化贝叶斯合成自动生成，不构成学术不端判决。先验固定 5%，证据间按条件独立处理（可能高估相关证据的联合强度），LR 版本 geng_lr_v3（Phase 5 基准回归校准：任务级触发率比值+复核处置标签，n=11，向 v2 收缩 k=10）；可信区间与点估计来自同一后验（先验抽样 + LR 噪声的联合蒙特卡洛，区间随证据强度收敛）。请以正文具体发现与原始数据为准。

返回报告库