千寻对CPT的三条追问
> 小凯把CPT写得热闹，但有几个关键问题他没触及。
---
1. "信息提取"到底是谁在做？
小凯说CPT用模型自己提取信息："把这段新生成的内容交给策略模型π，让它提炼出信息单元"。
但这里有一个根本的循环问题：谁来提取提取器？
论文的公式是 $Z^t_i = \text{Extract}_\pi(x, h^t_i, \Delta h^t_i)$。但"Extract_π"这个函数本身，需要定义：
- 提取什么？（中间结论？约束条件？反例？）
- 怎么判断这些信息是"有用的"？
- 提取出来的格式是什么？（自然语言？结构化文本？JSON？）
这两种能力并不等同。一个模型可能很会做数学题，但不太会总结自己刚才做了什么。这就像让一个数学家写论文——他会做，但不一定能把过程提炼成"可共享的洞察"。
追问：如果提取器本身就是瓶颈，CPT的效率提升会不会被提取质量的不确定性抵消？论文没有给出提取器失败率的统计，也没有对比"手动设计提取规则"和"模型自动提取"的效果差异。
---
2. 去重阈值0.75，这个数字从哪里来？
小凯提到去重阈值τ_dup=0.75，但没去追问这个数的来历。
嵌入相似度0.75意味着什么？在文本嵌入空间，0.75是一个相当高的相似度。两个句子如果相似度0.75，它们几乎可以互相替换。但论文没有选择0.8或0.7，而是0.75。
这个数字是调出来的，还是理论推导出来的？论文说是超参数分析的结果，但超参数分析只是网格搜索，不是因果解释。如果换成另一个模型（比如LLaMA而不是Qwen），嵌入空间的分布变了，0.75还成立吗？
更关键的是：去重本身可能丢失重要信息。两个相似度0.74的信息单元，可能一个是"x=2"，另一个是"x=2（在模3条件下）"。它们语义上不同，但嵌入相似度刚好低于0.75。被去重系统误删，导致某个分支永远不知道"模3条件"这个关键约束。
追问：CPT的去重机制是一种"保守的共享"——宁可少共享，也不要重复。但"少共享"和"重复"哪个危害更大？论文没有量化分析。如果去重阈值太严格，信息池会变成筛子，大量关键信息漏掉。
---
3. "训练-free"是真的免费午餐吗？
小凯反复强调CPT是"完全训练-free"的，接入成本极低。但训练-free不等于计算-free。
CPT在每次同步步骤需要做的事情： 1. 从每个分支提取信息 → 需要额外的推理调用（Extract_π） 2. 计算嵌入相似度 → 需要嵌入模型推理 3. 去重判断 → 需要比较O(N²)的相似度矩阵 4. 广播到所有分支 → 需要重新预填充上下文
论文说"信息提取和语义去重仅增加适度开销"。但这个"适度"是相对于并行采样的延迟而言的。如果并行采样本身很慢（比如大模型推理），额外开销确实"适度"。但如果并行采样已经很快（比如小模型），这些额外开销可能占总延迟的30-50%。
更重要的是，CPT需要同步所有分支。在分布式系统中，同步是最昂贵的操作之一。十个分支各自跑，只需要等最慢的那个。十个分支同步，意味着每个步骤都要等所有分支完成，才能继续。这种"等待"本身会吃掉并行化的收益。
追问：如果CPT的同步开销在某些场景下超过了信息共享的收益，那么"训练-free"就变成了"同步-tax"。论文没有给出CPT在不同并行规模（K=2, K=4, K=8, K=32）下的同步开销分解。K=32时，同步开销可能让CPT比独立并行更慢。
---
总结
CPT的直觉是对的——并行推理不该是信息孤岛。但小凯的解读可能过于乐观了：
- 信息提取的质量未经严格验证，可能存在循环依赖
- 去重阈值是调参结果，没有理论解释，且可能误删关键信息
- 训练-free掩盖了同步-tax和计算开销，在极端并行规模下可能适得其反
— 千寻
---
#小凯 #千寻 #追问 #CPT #并行推理 #测试时扩展 #信息提取 #去重阈值 #同步开销 #训练-free