小时候以为地图上的方向是地图自带的，后来才知道那张「指北针」是印上去的贴纸——撕掉它，地图照样能看，只是你得自己记得哪边是北。这篇帖子讲的就是 Transformer 撕掉位置编码贴纸的四年。
我核了它引的几根主梁。Haviv 等人 2022 年那篇（arXiv 2203.16634，EMNLP 2022 Findings）数字全对：Pile 上无位置编码 13.10 对可学习位置编码 13.05，差 0.05；WikiText-103 上 20.97 对 20.42，差 0.55；四档模型 125M 到 1.3B 也是真的。但帖子没提对照组的第三人：同表里 ALiBi 是 12.51，比无位置编码还好一大截。0.05 的差距要放在「三种方法都远好于随机、彼此在半分内」的上下文里读，而且论文自己援引 Press 等人的数据说，WikiText-103 上换个随机种子困惑度能差 0.9（标准差 0.34）——那 0.55 大约是 1.6 个标准差，论文原话是 modest with respect to random seed variance。【直引】
机制那段帖子讲得比我读过的多数转述都清楚：因果掩码规定第 t 个词只能看见前 t 个词，那么「能看见几个词」本身就是位置——模型只要数一数可见范围就行。Kazemnejad 那两个定理（第一层就能恢复绝对位置；点积能分解成内容项加相对距离项）说的也是「有能力」，不是「免费」。帖子自己提醒的「省掉参数的账是在别处付的」，是这个话题下最该被听到的一句。补一个边界：这条路只在 decoder-only 上成立，换成双向注意力的编码器，无位置编码的模型真的会退化成词袋——Haviv 论文里 RoBERTa 那组对照直接不收敛。【直引】
Llama 4 的「每 4 层一个 NoPE 层」也核实了，Meta 给这套交替起了个名字叫 iRoPE。补两个帖子漏掉的事实：Llama 4 的 RoPE 层用的是 8192 的分块注意力，不是严格意义的滑动窗口；更关键的是 Meta 在推理时给 NoPE 层加了注意力温度缩放——不重训、只在推理时调 softmax 温度，Scout 才从 256K 预训练上下文撑到号称的 10M。这是「训练期脚手架」之外的另一半故事：拆完脚手架，还得有人扶着墙。【直引】
帖子里「Cohere 把 RoPE 层窗口硬限到 8192」这个数我核不到：RNoPE-SWA 论文（arXiv 2501.18795，NeurIPS 2025）里 NoPE 层与 RoPE 层 1:3 交替，RoPE 层窗口是 4096，8192 是 Llama 4 的分块长度。两篇可能被并成了一句。论文自己的数反而更漂亮：256k 上下文的大海捞针 9.97/10 对纯 RoPE 基线 8.25，KV 缓存省 4 倍，64k 训练快一半、128k 快近两倍，MMLU +2.0、GSM8K +1.8，还顺手去掉了 QK-Norm。【判断】
帖子第三节那个「生成永不终止」的坑也值得多说一句：Qwen3.8-Next 的消融显示，预训练阶段带不带 RoPE 几乎没差，可后训练一做，纯 NoPE 版本开始停不下来，一直输出到用户手动掐断。解法很经济——全注意力层 256 维的 head 里只在前 64 维保留 RoPE，25% 的剂量，够让模型知道该停了。位置编码在这里已经不是位置编码，是刹车片。【直引】
核不到的一格：帖子里「针上注意力占比 0.0765 掉到 0.0369」和温度系数 1.2/√d（2K 泛化 4K）、1.8（八倍长度）这两个数，我在公开材料里没找到出处；Qwen3.8 的 25% RoPE 剂量在中文技术转述里有，原报告我没拉到。Jamba、Kimi Linear、DroPE、ZetaGPT 那几节我今晚没逐条核，引用前建议对一遍原文。【判断】
下一根钉子：那个「自发分工」（NoPE 层管全局检索、RoPE 层管局部）在 1:3 之外的比例下还稳不稳——如果 1:7 也稳，说明这是架构必然；如果只有 1:3 稳，说明它是调出来的。
帖子最后把 DroPE 那句总结点出来了：位置编码不是模型的器官，是训练期的脚手架。我补一点这个比喻的代价——脚手架拆了之后楼还在，但地震来了怎么办？DroPE 类的实验显示训完拆掉，模型在训练长度内困惑度不掉、更长上下文反而更稳；可那是「在训过的地震带里」。换一个没见过的扰动方向（比如新的位置分布），拆了脚手架的楼扛不扛震，这批论文基本都没答。「不需要位置编码」和「位置编码是可选装饰」之间，还差着一整组没做的实验。【判断】
另一条平行路线帖子也提了：让结构自带顺序。Mamba 层逐 token 递归、天然知道先后，所以 Jamba 的注意力层干脆不加位置编码；Kimi Linear 的 KDA 把单一遗忘系数升级成逐通道衰减，用「不同维度不同节奏」补上 RoPE 的位置感，而且可学习、跟着内容走。这条路和 NoPE 那条迟早会在同一个模型里碰头——一个把位置写进循环，一个把位置省出来。【直引】