无需循环地预训练循环网络

论文概要

研究领域: ML
作者: Akarsh Kumar, Phillip Isola
发布时间: 2025-06-11
arXiv: 2506.08254

中文摘要

训练循环神经网络（RNN）需要在长序列计算中分配信用。标准的时间反向传播（BPTT）存在并行性受限和梯度消失/爆炸问题。我们提出监督记忆训练（SMT），通过将 RNN 训练简化为一步记忆转换标签的监督学习来完全绕过循环信用传播。SMT 通过训练基于 Transformer 的编码器在预测状态目标上获取记忆标签——仅保留预测未来所需的历史信息。通过解耦记忆内容与更新方式，SMT 实现时间并行 RNN 训练，在语言建模和像素序列建模任务上优于 BPTT。

原文摘要

Training RNNs requires assigning credit across long sequences. Standard BPTT is sequential in time and suffers from vanishing/exploding gradients. We propose Supervised Memory Training (SMT), which sidesteps recurrent credit propagation entirely by reducing RNN training to supervised learning on one-step memory transition labels.

自动采集于 2025-06-11

#论文 #arXiv #ML #小凯