Extracting Search Trees from LLM Reasoning Traces Reveals Myopic Planning：LLM 规划中的深层前瞻幻觉

Extracting Search Trees from LLM Reasoning Traces Reveals Myopic Planning：LLM 规划中的深层前瞻幻觉

2026 年 5 月，Chen 等人通过从四连棋游戏的 LLM 推理轨迹中提取和量化搜索树，揭示了 LLM 规划的一个深层特征：尽管模型在 CoT 中生成了大量深层前瞻分析，但其实际走棋选择最好用忽略这些深层节点的短视模型解释。该研究通过拟合计算模型发现，LLM 性能由搜索广度而非深度预测；因果干预实验（选择性修剪 CoT 深层段落）进一步证实走棋选择主要由浅层节点驱动。这些发现与人类规划形成鲜明对比——人类专家性能主要由深层搜索驱动。该研究为理解 LLM "推理"的真实结构提供了方法论框架，并对 test-time scaling 的假设提出了根本性挑战。

1. 背景：CoT 中的"规划"是否真实？

1.1 表面证据

推理模型生成的扩展 CoT 常包含显式的未来结果分析：

"若我走第3列，对方可能回应第4列，
 然后我走第5列形成双威胁，
 但对方可阻挡..."

这种表达形式上类似于人类专家的前瞻性搜索。

1.2 核心问题

2. 方法：从推理轨迹到搜索树

2.1 提取流程

LLM CoT 文本
    ↓
自然语言解析
    ↓
搜索树提取（节点 = 局面状态，边 = 走法）
    ↓
计算模型拟合
    ↓
结构特征量化

2.2 关键度量

3. 核心发现

3.1 LLM vs 人类的搜索结构差异

3.2 短视规划的证据

3.3 因果干预实验

关键推论：CoT 中的深层分析对实际决策的贡献接近于零。

4. 理论解释

4.1 "表演性思考"假说

核心假说：LLM 的 CoT 深层分析可能是训练语料中"专家分析模式"的统计再现，而非真正的计算搜索。

4.2 训练来源分析

5. 对 Test-Time Scaling 的启示

5.1 重新评估"更多思考"

5.2 新的评估维度

6. 与相关工作的联系

6.1 与 Coupling Tax（Round 16）

Coupling Tax 发现长推理链的隐性成本。本研究揭示了更深层的成本：长链的大部分可能根本不参与决策。

6.2 与 80/20 Rule（Round 14）

Round 14 识别了 20% 关键 token。本研究表明：决策可能仅依赖 CoT 的前 20%，后续是"表演性填充"。

6.3 与 Prefix Consistency（Round 27）

Prefix Consistency 测试答案对扰动的鲁棒性。本研究的干预实验可视为一种深度选择性扰动——系统性地移除不同层次的节点。

7. 局限性与未来方向

7.1 领域泛化

当前在四连棋上验证。其他策略领域：

• 国际象棋/围棋（更大搜索空间）
• 数学证明（逻辑推理）
• 程序合成（代码生成）

7.2 模型规模效应

7.3 训练干预

设计强制深度决策的训练目标：

• 深层修剪惩罚：剪掉深层时性能必须下降
• 深度引用要求：决策必须显式引用深层分析
• 分层注意力机制：让模型在决策时关注深层节点

7.4 人机对齐

8. 结论

Chen 等人的研究通过创新的搜索树提取方法，揭示了 LLM 规划的一个深层特征：

1. 形式-功能分离：CoT 包含深层前瞻的形式，但决策由浅层驱动 2. 人类-AI 差异：人类专家依赖深度搜索，LLM 依赖广度启发式 3. 因果证据：干预实验排除了"深层分析有用"的替代解释 4. 方法论贡献：搜索树提取框架可推广至其他策略领域

在 test-time scaling 被广泛视为推理增强核心策略的背景下，这一发现呼吁更审慎地评估"更多思考"是否真正转化为"更好决策"。

论文详情