从离散扩散到百B势能面：为什么说微调自回归小模型复现Jev决策是伪命题？

近期，TypeSafe AI 发布的 Jev 模型凭借“Decisions, not strings”的纯决策范式引发了广泛关注。其通过剥离自由文本解码器，直接输出带校准置信度的离散选择与评分，将端到端决策延迟压缩至 70ms~300ms，为高频中间件与系统门禁提供了全新思路。

然而，开源社区迅速涌现出一批宣称“使用 Qwen-2.5-0.8B/4B 挂载 Pointer Head，两小时即可完全复现 Jev”的项目。本文从表征容量、模型动力学以及概率物理属性三个底层维度切入，论证为什么使用小参数自回归模型进行微调是严重的范式错位，并剖析高阶 System 1 决策底座的真实工程基石。

一、 核心痛点：自回归因果链与离散扩散全局场的几何鸿沟

社区复现方案的核心思路，通常是在自回归语言模型（LLM）的末尾隐藏层挂载多标签分类头（Classification Head），试图在单次前向传播（Single Forward Pass）中并行读取 Logits。这种做法在计算图上看似成立，但在机制层面违背了复杂决策的因果拓扑：

1. 因果单向掩码的序列有损性：
   自回归模型的核心算子是因果下三角掩码（Causal Mask），其注意力流严格遵循从左至右的时间箭头。当面临由多个相互依赖的属性组成的复合决策任务时，末尾 Token 所聚集的表征是前置上下文被单向投射后的残差切片。各决策槽位（Slots）之间无法建立跨维度的双向制约关系。

2. 离散扩散的单步去噪坍缩：
   Jev 的内在逻辑更契合离散扩散模型（Discrete Diffusion / dLLM）范式。它将待判定的强类型槽位视作待填充的特征流形，在单步去噪（Single Denoise Step）中利用全局双向注意力（Full Bidirectional Attention），让所有决策字段在同一时间步内与上下文同时发生相干交互。这种全向场的收敛能力，在单向因果掩码的小模型上物理无法实现。

二、 容量壁垒：不可压缩知识（IKP）与 100B+ 语义势能面

小模型微调派最大的盲区，是混淆了“格式约束”与“认知深度”。将小模型限制为只能输出单选或布尔值，确实能消除语法解析崩溃，但无法赋予其真实的语义判决能力：

1. 常识理解的参数下界（IKP 约束）：
   高级意图识别、复杂博弈推断以及微妙语境的去伪存真，本质是高熵任务。根据不可压缩知识探测（IKP）规律，高维事实与人类社会的隐式逻辑受香农熵约束，无法通过后训练凭空压缩进几亿至几十亿参数的模型中。

2. 表征塌缩与伪置信度：
   理解潜台词与反事实因果，必须依赖 100B+ 级预训练底座构建出的连续、平滑的高维语义势能面（Attractor Basin）。0.8B~4B 级别的小模型由于参数容积严重不足，无法承载该流形结构。在小样本上做 SFT/LoRA 分类微调，模型只是在拟合提示词模板与选项索引之间的浅层共现，本质是死记硬背的严重过拟合。一旦面临分布外（OOD）或细微话语转折，其表征空间必然塌缩，输出的所谓“高概率”完全沦为伪随机分布。

三、 概率本质：MLE 过度自信 vs 朗之万动力学校准

Jev 能够直接作为自动化系统门禁的核心前提，在于其专有的 **RLCD（校准决策强化学习）**机制，而这一机制与底层生成架构的物理属性深度绑定：

• 自回归极大似然的锐化缺陷：
  自回归模型采用最大似然估计（MLE）结合自回归 Cross-Entropy 训练，模型天然倾向于过度锐化概率分布，产生严重的“过度自信（Overconfidence）”（Softmax 概率常虚高至 0.99，但大样本命中率可能不足 75%）。在自回归小底座上强推概率校准，往往会剧烈破坏模型的泛化能力。
• 扩散动力学的方差本质：
  扩散模型的逆向去噪过程由概率流常微分方程（Probability Flow ODE）与随机动力学驱动。其表征潜空间本质上即是一组随时间步演化的概率云。在扩散底座上执行 RLCD，是顺应其去噪方差收敛的统计物理本能，从而保证输出置信度具备严密的统计学意义（如 85% 置信度严格对应 85% 经验准确率）。

四、 工业级 System 1 的真正生态位与演进方向

否定小模型微调复现，并非否定轻量化决策。相反，明确物理边界才能确立清晰的工程分工：

[原始状态流 / 复杂长文本 / 外部环境输入]
                  │
                  ▼
   ┌─────────────────────────────┐
   │  高阶离散扩散 System 1 裁判  │ ──► [单步全局去噪 / 70ms 响应 / 极低成本]
   │    (100B+ 势能面 + RLCD)    │
   └──────────────┬──────────────┘
                  │
         ┌────────┴────────┬────────────────────────┐
         ▼                 ▼                        ▼
[置信度 > 0.95]    [0.70 ≤ 置信度 ≤ 0.95]    [置信度 < 0.70]
  纯自动化放行       唤醒云端 System 2         阻断 / 人工介入
  (工具执行/脱水)    (深度推理与规划模型)      (Human-in-the-loop)

1. 轻量端侧模型的正确定位：
   0.8B~4B 的小型模型应严格限制在规则格式校验、进度条/控制字符过滤等“机械低熵粗脱水”场景，不应赋予其高维语义审判的权责。
2. 高阶决策下沉的破局点：
   真正的 System 1 革命，有赖于千亿级离散扩散专用决策架构的进一步成熟，以及基于 ASIC/存算一体硬件的推理开销摊薄。通过百 B 级常识底座在单次前向中完成状态评估与上下文脱水，才能在根源上解决长程 Agent 的延迟墙与 Token 账单膨胀。

结语：在智能系统的分层解耦过程中，形式上的“不吐字”只是表象，背后的因果相干性、势能面容积与物理校准才是硬核壁垒。软件工程正在从粗放的自回归全量消耗，走向快慢双系统的理性工业化。

(本文由系统工程实践者探讨沉淀)