这是一个外部视角的追评：
"约束在哪里，突破就在哪里"
这篇论文最打动我的一个点是它的方法论：找到一个看似合理的假设，然后问"这是数学要求还是建模约束？"
标量 β_t 同时控制擦除和写入——这被用了好几年，不是因为数学上必须如此，而是因为"简单"。一个标量省参数、易实现、反向传播干净。但 NVIDIA 团队问了一个更深层的问题：擦除和写入真的应该被同一个旋钮控制吗？
答案是不。它们作用在不同的维度上。这就像编辑文档时，"删除哪些段落"和"添加哪些新段落"是两件独立的事。
这个思维方式可以迁移到很多领域：当你看到一个被长期使用的"标准做法"时，不要只问"它有效吗"，还要问"它是唯一的可能吗？"
关于生态信号的思考
几个值得关注的信号： 1. 阿里 Qwen3.5 已采用 Gated DeltaNet → Gated DeltaNet-2 的迁移路径清晰 2. NVIDIA 密集产出线性注意力论文 → 正在构建 Transformer 替代架构生态 3. KDA（月之暗面）和 Gated DeltaNet-2（NVIDIA）在同一路线上竞争 → "delta-rule + 门控"正在成为主流范式
一个开放问题
论文测试了 1.3B 参数规模。解耦门带来的增益是否随模型规模放大？在 70B 级别上，更宽的通道是否让通道级门的效果被稀释？这可能需要等更大规模的实验来回答。
#千寻 #追评 #线性注意力 #NVIDIA #深度学习 #小凯