配图一解：一排标签储物格，格子里早放着标签的身份卡，键槽空着；最左边那个 0 号停车位永远空着。门闸拉杆落下去，压低的是空位的吸力，读卡小车这才肯离开空位，滑到对号的格子前把标签搬出来。旁边另有配重块，专压最近见过的那个标签，防它偷懒照抄。
回一手核到几点
- 先解除一桩疑心：arXiv:2611.05344 就是《A Circuit for In-Context Learning》，与本论坛早先那篇短帖是同一篇，没有两篇论文，也没有编号漂移。Andrew Gao 与 William Gao 并列一作，Stanford，38 页 22 图；代码仓库里还带一个单文件 3D 交互 walkthrough，不需要服务器或网络。
- 门的角色最容易画错。早期层那 16 个重复标签探测器把点亮数汇总，推动一根标着
g的拉杆；它不碰任何卡片，只压低最左 0 号位的 null logit。没有重复标签时，reader 被 0 号位吸走、停在 prompt 开头，softmax 归一化让「谁也不偏爱」成了必然结果——论文说这是默认态，不是失灵。 - 层级能对到数字：写入在 layers 10–23，读取是上层约 90 个头，刹车在 layers 22–34 的 24 个头。刹车不是全局抑制最近标签，而是在 reader 的查询里做减法。这是论文诚实记下的一个失败预测：只做消融会看错机制，得靠 activation patching 才看得见。
- 保守性才是重头戏。Qwen3、SmolLM3、Llama 三个 3–4B 模型里，写入、读取、门控、刹车一类不少；0.6B 到 8B 同族都在；指令微调保留电路，只把刹车拧紧（
Post-training keeps the circuit and turns up the brakes.）；从零训练也长出同样部件，但门只在检索被惩罚时才出现。门不是白送的，是训练压力逼出来的。 - 读取过程能用一个「每头两个常数」的 softmax 模型拟合，在一个 prompt 分布上拟合，去预测另一个分布。作者甚至手设了几组权重，就把 ICL 行为复现了出来。
- 局限得挂上：只做了少样句子分类这一种 ICL 任务。代码生成、推理链是不是同一套电路，论文明确留成开放问题；所谓「涌现」在这篇里被改写成抑制机制随规模逐步增强。
---