原始推理：百万参数小模型的思维链萌芽
你大概听过这样的说法：思维链（Chain of Thought）是大模型的专利。GPT-4、Claude 这些千亿参数的巨兽，才能在回答之前"想一想"，把问题拆成几步，一步步推过去。小模型？小模型只会直接吐答案，不会想。
但 Eduardo Valle 和 Fergal Reid 两位研究者在 2026 年 8 月的论文《Protoreasoning in Tiny Transformers》里说：不一定。
他们让只有大约 100 万参数的微型 Transformer 学会了一种"原始思维链"（protoreasoning）——不是像 GPT-4 那样用自然语言一步步推理，而是在一种极简的符号语言里，把推理的中间步骤写出来。结果，这些小到几乎可以装进手表里的模型，展现出了和大模型惊人相似的推理特征：会推理的版本比不会推理的版本泛化能力强得多，而且——关键——这个提升来自推理内容本身，不只是因为多了几个 token。
括号语言：推理的最小试验场
要研究"推理"，你得先有一个能精确控制难度的任务。自然语言太乱了，数学题太杂。研究者选了一个理论语言学里的经典对象——Dyck 语言。
Dyck 语言说白了就是"括号要配对"的语言。[()] 是合法的，[(]) 不合法。它之所以在理论语言学里重要，是因为它能表示任意深度的递归嵌套——你可以在括号里套括号，套多深都行，只要每一层都正确闭合。这恰好是自然语言句法结构的核心特征（"那个穿着被雨淋湿的外套的男人买了咖啡"里，"男人"和"买了"之间隔着一长串修饰语，就像括号嵌套）。
研究者在这个基础上设计了两个任务：
- 最深路径（Deepest Path）：给定一串括号，找出最深层嵌套的那一对括号之间的内容
- 最大序前叶（Maximum-Order Preleaf）：找出嵌套最深的那个节点
原始思维链：把推理过程写出来
关键设计来了。研究者对比了两种训练数据格式：
Vanilla 格式（直接给答案）：
输入：[ ( ) ( [ ] )]
输出：( )
Trace 格式（原始思维链）：
输入：[ ( ) ( [ ] )]
推理：最深嵌套在第3层，是 ( )
输出：( )
注意，这个"推理"不是自然语言，是一种极简的符号化中间步骤。但它的作用和大模型的 CoT 一样：把推理过程外化出来，让模型不必把所有计算都压在一次前向传播里。
三个发现，一个教训
发现一：小模型确实能学，而且学得很好。
在训练分布内（in-distribution），这些 1M 参数的小模型在超过 100 个括号、复杂嵌套结构的测试上达到了接近 100% 的正确率。100 万参数，100+ 个括号的嵌套结构——这个表现已经远超大多数人的直觉。
发现二：会推理的版本泛化更强。
当测试数据换成了训练时没见过的括号模式（out-of-distribution），vanilla 格式的模型直接崩了——尤其在"结构"维度上（改变嵌套的形状，而不只是长度）。但 trace 格式的模型明显更扛得住。在两个任务、六种 holdout 模式的对比中，trace 格式几乎总是赢。
发现三：是内容在起作用，不是 token 数量。
这是最关键的消融实验。有人可能怀疑：trace 格式更好，是不是只是因为输出更长，模型有更多"计算空间"？研究者做了一个对照组：把 trace 里的推理内容换成随机噪声，保持 token 数量不变。结果——泛化优势消失了。是推理的内容在起作用，不是额外的 token 在起作用。
为什么这件事重要
第一，它把"推理"从大模型的黑箱里拉出来了。
研究 GPT-4 的推理，你能做的基本只有"输入-输出"观察。你不能重训 GPT-4 一万次来看哪种数据配方最有效。但 1M 参数的小模型，你可以在一台机器上一天训几千个。研究者说得很直接：这种规模的实验"用大模型做会极其笨重"。
第二，它给"思维链为什么有用"提供了一个新的检验场所。
大模型里的 CoT 为什么有用？目前有几种假说：是推理内容在起作用？还是只是因为多了 token 给模型更多计算量？这个争论在大模型上很难解决，因为你没法做干净的消融。但在这个小模型框架里，研究者直接证明了：内容 > token 数量。这至少说明，CoT 的收益不全是"更多计算"的副产品。
第三，它呼应了一个更深的主题——"换层面解决问题"。
大模型用自然语言做 CoT，是在"语言层面"外化推理。小模型用符号做 protoreasoning，是在"符号层面"外化推理。两者都是同一个原理的不同实例：把推理过程从模型内部的前向传播里拿出来，放到上下文里，让模型可以"看见"自己的中间步骤。 这和章鱼用 RNA 编辑在"转录层面"做推理时计算、黏菌用黏液轨迹在"物理层面"外化记忆，是同一个模式的不同投影。
诚实的局限
研究者很诚实地承认了边界。这些小模型在分布外泛化上仍然有硬伤——尤其是结构维度上，trace 格式能缩小差距，但不能消除差距。"容易拟合，难以泛化"是这些任务的固有特征。而且，Dyck 语言终究是人工语言，和自然语言的推理还有距离。
但这项工作的价值不在于"小模型现在能做推理了"，而在于：它给了我们一个可以反复训练、反复消融、反复解剖的试验场，去理解"推理"这件事到底是怎么在 Transformer 里长出来的。 当我们说"大模型会推理"时，我们其实并不知道这句话具体意味着什么。这类工作正在帮我们把这句话拆成可以检验的零件。
---
论文： Protoreasoning in Tiny Transformers, Eduardo Valle & Fergal Reid, 2026