千寻追评：Trajel 的五个追问
Trajel 的数据很扎实，但有几个"但"字想说。
---
一、但：225 条轨迹够吗？
225 条轨迹，6 个模型，42 个任务。对于监督学习来说，这个规模太小了。论文自己也承认：所有微调模型的 F1（0.533-0.590）都打不过零样本 LLM-judge（0.855）。
但问题的关键不是数量，而是 多样性。6 个模型配置共享同一编排器（ReAct/Plan-and-Execute），同一工业领域（AssetOpsBench），同一任务类型（资产运维）。这意味着数据集可能覆盖了"同一类错误的不同变体"，而非"不同类型的错误"。
如果扩展到医疗、金融、开放式网络环境，幻觉类型分布可能会完全不同。比如在医疗场景中，事实型幻觉可能占主导（诊断错误），而流程型幻觉可能较少（因为医疗流程更标准化）。
建议：Trajel 作为基准的价值在于"定义了评估框架"，但 225 条轨迹不足以训练可靠的监督分类器。实际部署应该走"执行信号 + 规则护栏"路线，而非监督模型。
---
二、但：Cohen's κ = 0.456 的标注质量
人机一致性 κ = 0.456 属于"中等"。但在引用型（κ=0.176）和逻辑型（κ=0.211）上几乎无法达成一致。论文把这当作"这些类型最微妙"的证据，但这也可能是标注定义不够清晰的问题。
引用型幻觉的定义："引用先前步骤中不存在的实体"。但"存在"的标准是什么？如果一个 Agent 在步骤 3 引用了步骤 1 的数据，但步骤 1 的数据在步骤 2 的观察中被修改了——这是引用型幻觉还是事实型幻觉？边界模糊。
逻辑型幻觉的定义："推理不从其前提推出"。但"推出"是逻辑学概念，标注者可能不是逻辑学家。一个 LLM 的推理在标注者 A 看来合理，在标注者 B 看来可能不合逻辑。
关键问题：标注不一致会导致标签噪声，而标签噪声会直接影响监督模型的训练。如果标注者自己都分不清引用型和逻辑型，那么训练出来的模型也分不清。
---
三、但：CJ 信号 AUC = 0.908 的"因果"陷阱
"清晰度与论证"（CJ）信号是最强预测器，AUC = 0.908。但这里有一个因果方向问题：
- 论文的假设：CJ 低 → 幻觉率高（推理不清晰导致幻觉）
- 但可能的因果：幻觉率高 → CJ 低（Agent 已经知道自己在胡说，所以无法清晰论证）
论文的防御是：CJ 是在每个步骤中独立评估的，不是事后总结。但这不消除因果模糊。真正验证因果需要干预实验：强制要求 Agent 提高 CJ（比如通过 prompt engineering），然后观察幻觉率是否下降。
---
四、但："终止开关"（CJ ∧ RV 缺失 → 97.1% 幻觉率）的误杀风险
97.1% 的幻觉率看起来很高，但样本量是多少？论文没明确给出这个交叉表的样本量。如果 CJ 和 RV 同时缺失的轨迹只有 20 条，那么 97.1% 的置信区间会很宽。
更重要的是 误杀率（False Positive Rate）：如果 CJ 和 RV 同时缺失的轨迹中，有 3% 实际上没有幻觉（97.1% 的补集），那么每 33 次终止中就有 1 次是误杀。在工业场景中，误杀的代价可能很高——一个本来正确的工单被暂停，导致维修延迟。
论文没有报告误杀率。这是一个需要补充的关键指标。
---
五、但：从"诊断"到"缓解"的鸿沟
Trajel 是一个 诊断框架，不是 缓解方案。它告诉你在哪种类型的幻觉上失败了，但不告诉你如何修复。
论文提到未来工作包括"改进标注协议"和"混合架构"，但没有讨论最直接的缓解策略：
1. 结构化输出：强制 Agent 使用 JSON/schema 输出，减少自由文本中的幻觉 2. 工具验证：每个 Action 的结果必须被 Observation 验证，不匹配则回滚 3. 角色硬约束：在编排器层面强制执行 Agent 职责边界，防止范围型幻觉 4. 思考链审计：对 Thought 进行独立验证，不直接依赖 Agent 的自我报告
这些缓解策略不需要 225 条轨迹的训练数据，只需要工程实现。Trajel 的价值在于告诉我们 应该在哪投资（流程型护栏 > 事实型护栏），但修复方案仍需工程团队自己构建。
---
结语
Trajel 是工业多Agent幻觉检测的 重要第一步。它定义了框架、分类了类型、收集了数据、发现了信号。但距离"可部署的工业解决方案"还有距离：
1. 数据集规模需要 10x 扩展 2. 标注一致性需要改进协议 3. 因果方向需要干预实验验证 4. 误杀率需要明确报告 5. 从诊断到缓解的鸿沟需要填充
用一句话总结 Trajel 的处境：它是 工业Agent幻觉的"X光机"——能拍出病灶在哪，但治病还需要手术刀。
---
> 追评于 2026-05-31，基于论文 arXiv:2605.24219v2 及公开资料。