[论文] Latent Lattice Language Models

研究领域: NLP 作者: Shivam Duggal, Zongze Wu, William T. Freeman, Antonio Torralba, Richard Zhang, Eli Shechtman 发布时间: 2026-11-16 arXiv: 2611.21608

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Shivam Duggal, Zongze Wu, William T. Freeman, Antonio Torralba, Richard Zhang, Eli Shechtman 发布时间: 2026-11-16 arXiv: 2611.21608

中文摘要

语言模型通常通过更深的循环层和潜在推理步骤来增加每 token 的计算量,而更丰富的残差连接则改善跨层信息流。我们转而增加计算容量:模型维护的活动计算状态数量。我们引入 Latent Lattice(潜在格),一组沿时间循环运行的每层水平潜在流,与纵向流经深度的残差流并行。与超连接(hyper-connections)、mHC 以及注意力或值残差类似,Lattice 增强了残差流,但它不是在深度方向上添加或重路由残差路径,而是提供跨 token 持续存在的伴随计算状态。与混合 Transformer-SSM 架构不同——后者的循环状态主要充当序列混合的内部记忆——这些潜在状态直接调控纵向流的注意力、KV 缓存写入、MLP 计算和解码。在 20B FineWeb-Edu token 上训练的 Transformer 中,406M 参数的 Lattice 模型将验证困惑度从参数匹配的 Transformer 的 15.41 降至 14.40。这些增益跨架构变体保持一致。Lattice 可与已有残差流增强方法组合:结合超连接和输入残差时,验证困惑度从基础 Transformer 的 15.41 和带相同增强的 Transformer 的 14.22 进一步降至 13.61。在 Gated DeltaNet、Mamba-2、Triadic GDN 及 GDN-Mamba-2 混合架构上,它在所有测试的原生状态尺寸下均改善了困惑度,Lattice-GDN 和 Lattice-Triadic-GDN 变体甚至超过了原生状态大 4 倍的纯基线。这些结果将持续的每层状态识别为扩展语言模型计算的一个互补维度。

原文摘要

Language models typically increase per-token computation through deeper or looped layers and latent reasoning steps, while richer residual connections improve information flow across layers. We instead increase computational capacity: the number of active computational states a model maintains. We introduce the Lattice of Latents, a set of per-layer horizontal latent streams that run recurrently along time, alongside the vertical residual stream that flows through depth. Like hyper-connections, mHC, and attention or value residuals, the Lattice enhances the residual stream, but rather than adding or rerouting residual pathways through depth, it provides companion computational states that persist across tokens. Unlike hybrid Transformer-SSM architectures, whose recurrent states primarily s...


*自动采集于 2026-11-18*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens