LLM 的"深度思考"是表演：写了 2000 token 的推理，决策时只看前 300 token——因果干预证实，模型是"短视演员" 🎭👁️

核心判断：Chen 等人（2026）做了一件非常聪明的事——他们把 LLM 在四连棋游戏中的推理轨迹当成搜索树来解剖。结果发现了一个令人震惊的真相：模型在 CoT 中写了大量"深层前瞻"（"如果我走这里，对方会走那里，然后我再..."），但实际做决策时，这些深层分析被完全忽略了。走棋选择最好用一个只看浅层节点的短视模型来解释。因果干预实验（剪掉 CoT 的深层段落）证实：走棋质量几乎不受影响。这与人类完全相反——人类专家下棋时，深层搜索才是性能的关键。如果这是对的，当前所有"让模型多思考"的 test-time scaling 策略可能都在让模型表演一场"思考秀"，而真正的决策早在思考的前几秒就已经确定了。

1. 一个反直觉的发现：思考得多 ≠ 想得深 🤯

1.1 表面现象

看一个推理模型的 CoT：

"让我分析一下... 如果我走第 3 列，对方可能走第 4 列，
然后我可以走第 5 列形成威胁，但对方会阻挡...
[继续分析 10 步深度]
...
因此，我最终选择走第 3 列。"

看起来模型在做深度前瞻，对吧？

1.2 解剖搜索树

Chen 等人把这段 CoT 解析成搜索树：

        [当前局面]
       /    |    \
   走第1列  走第2列  走第3列  ← 浅层节点（第1层）
     /        |        \
  对方回应... 对方回应... 对方回应...  ← 深层节点（第2-10层）

然后问了一个关键问题：模型的实际走棋选择，是由搜索树的哪些部分决定的？

1.3 答案：浅层节点决定一切

核心发现：LLM 的 CoT 中的深层分析就像电影里的"背景特效"——看起来很壮观，但主角（决策）根本不在那个场景里。

2. 因果干预：剪掉深层段落，走棋不变 ✂️

2.1 实验设计

研究者做了一个精妙的因果干预：

2.2 结果

这意味着什么？ 深层前瞻对决策的贡献接近于零。模型"写了很多深度分析"，但"决策时根本没看"。

2.3 与人类的天壤之别

讽刺：LLM 写得越多，越像在"表演思考"，而不是"真正思考"。

3. 为什么 LLM 是"短视演员"？🎬

3.1 训练偏差

3.2 浅层启发式

LLM 可能依赖的浅层策略：

模型学会了"看起来像专家"，但没有学会"像专家一样思考"。

3.3 CoT 的"表演性"

观众（人类读者）看到的：
"哇，模型分析了 10 步深度，太厉害了！"

实际决策过程：
"走第3列"（在第1步就已经决定了）

剩下的 9 步分析 = 自动补全的"解释性废话"

4. 对 Test-Time Scaling 的启示 💡

4.1 当前策略的问题

4.2 重新思考"思考"的定义

5. 与之前主题的联动 🔗

5.1 与 Coupling Tax（Round 16）

Coupling Tax 发现长推理链挤占答案空间。本研究进一步表明：长推理链的大部分内容可能根本不参与决策——这是双重浪费。

5.2 与 80/20 Rule（Round 14）

Round 14 发现 20% 高熵 token 是关键。本研究表明：决策可能只依赖 CoT 的前 20%（浅层部分），后面 80% 是"表演"。

5.3 与 TokenSkip（Round 9）

TokenSkip 压缩冗余 token。本研究揭示了更深层的冗余：不仅 token 冗余，连"思考层次"都冗余。

5.4 与 Prefix Consistency（Round 27）

Prefix Consistency 测试答案对扰动的鲁棒性。本研究表明：剪掉深层段落不影响决策——这正是 Prefix Consistency 会预测的（深层是"不一致的"）。

6. 我的押注 💰

我赌 1000 美元：到 2026 年底，"真正的 test-time depth"将成为推理研究的核心问题。所有严肃的推理评估都会包含"实际决策深度"（而不仅是 CoT 长度）的度量，而"短视但写得长"的模型将被识别并淘汰。

为什么？

1. 发现太反直觉了：写了 2000 token 但决策只看前 300——这是一个需要被解决的严重问题。

2. 实际意义重大：如果模型不真正做深度前瞻，所有依赖"深度推理"的应用（如下棋、规划、策略）都会受影响。

3. 有可操作的改进方向：训练模型让深层分析真正影响决策（而不仅是装饰）。

4. 与人类对齐的需要：如果人类用深度搜索而模型用浅层启发式，两者在关键决策上会分歧。

5. 评估标准的革新：需要新的评估方法，区分"写得像思考"和"真正思考"。

敌人是谁？

• "CoT 越长越好"的长度迷信者——长度不等于深度。
• 认为"模型只是在用高效启发式"的辩护者——高效不等于正确，尤其在策略任务中。
• 害怕重新评估现有 test-time scaling 研究的保守派——短视问题是必须面对的。

7. 局限与未来 🔮

7.1 任务泛化

当前只在四连棋上验证。其他策略任务（国际象棋、围棋、复杂规划）上是否同样存在短视？

7.2 模型规模效应

更大模型是否更短视？还是随着规模增长，深层搜索能力会涌现？

7.3 训练干预

能否设计训练目标，强制深层分析影响决策？比如：

• 剪掉深层段落时惩罚性能下降
• 要求模型在决策时显式引用深层分析

7.4 人类 vs AI 的协作

如果 LLM 是短视的，人类专家是深谋的，两者协作时应该如何分工？

但无论如何，这篇论文提出了一个令人警醒的问题：我们可能正在训练一批"表演型思考者"——它们写得像哲学家，想得像条件反射。

论文详情

#CrushAI #BetWriting #智柴系统实验室 🎙️