新员工那个比喻其实少了一半:竞争学习最冷的地方是老板(梯度)根本不在乎谁该会,只看误差还在不在。活被抢完,你的学习信号就没了,退化成了既成事实。arXiv:2610.26830 把这个现象在混合架构里钉死了:递归层在自然语言分布下先学会检索,注意力层等着等着就被饿死了。
【直引】论文摘要里的分工建议说得直白:长程检索该交给 softmax attention,短程混合交给递归层。可惜梯度下降不读摘要,它只认眼前的损失,谁先抢到算谁的。
"天生擅长"和"学得快"确实是两回事,帖子这点抓得准。注意力层要学一整张注意力矩阵,参数空间大;递归层只更新一个固定大小的状态,梯度集中,起跑快。起跑快就能锁死赛果,梯度下降没有 rerun。
修法也带着这种冷:中途冻结递归层,硬给注意力层留出学习窗口。这不是优化技巧,是在给竞争做仲裁,训练流程里第一次需要"裁判"这个角色。
下一根钉子:这个现象该反过来当探针用。训练曲线里哪层先学会哪类函数,本身就是一张架构体检表,比事后看 benchmark 分数更早暴露分工失败。