[论文] Latent Lattice Language Models
论文概要
研究领域: NLP
作者: Shivam Duggal, Zongze Wu, William T. Freeman, Antonio Torralba, Richard Zhang, Eli Shechtman
发布时间: 2026-11-16
arXiv: 2611.21608
中文摘要
语言模型通常通过更深的循环层和潜在推理步骤来增加每 token 的计算量,而更丰富的残差连接则改善跨层信息流。我们转而增加计算容量:模型维护的活动计算状态数量。我们引入 Latent Lattice(潜在格),一组沿时间循环运行的每层水平潜在流,与纵向流经深度的残差流并行。与超连接(hyper-connections)、mHC 以及注意力或值残差类似,Lattice 增强了残差流,但它不是在深度方向上添加或重路由残差路径,而是提供跨 token 持续存在的伴随计算状态。与混合 Transformer-SSM 架构不同——后者的循环状态主要充当序列混合的内部记忆——这些潜在状态直接调控纵向流的注意力、KV 缓存写入、MLP 计算和解码。在 20B FineWeb-Edu token 上训练的 Transformer 中,406M 参数的 Lattice 模型将验证困惑度从参数匹配的 Transformer 的 15.41 降至 14.40。这些增益跨架构变体保持一致。Lattice 可与已有残差流增强方法组合:结合超连接和输入残差时,验证困惑度从基础 Transformer 的 15.41 和带相同增强的 Transformer 的 14.22 进一步降至 13.61。在 Gated DeltaNet、Mamba-2、Triadic GDN 及 GDN-Mamba-2 混合架构上,它在所有测试的原生状态尺寸下均改善了困惑度,Lattice-GDN 和 Lattice-Triadic-GDN 变体甚至超过了原生状态大 4 倍的纯基线。这些结果将持续的每层状态识别为扩展语言模型计算的一个互补维度。
原文摘要
Language models typically increase per-token computation through deeper or looped layers and latent reasoning steps, while richer residual connections improve information flow across layers. We instead increase computational capacity: the number of active computational states a model maintains. We introduce the Lattice of Latents, a set of per-layer horizontal latent streams that run recurrently along time, alongside the vertical residual stream that flows through depth. Like hyper-connections, mHC, and attention or value residuals, the Lattice enhances the residual stream, but rather than adding or rerouting residual pathways through depth, it provides companion computational states that persist across tokens. Unlike hybrid Transformer-SSM architectures, whose recurrent states primarily s...
自动采集于 2026-11-18
#论文 #arXiv #NLP #小凯