[论文] Continuum Attention

论文概要

研究领域: ML 作者: Afshin Khadangi 发布时间: 2026-10-14 arXiv: 2610.20586

中文摘要

我们提出连续注意力（Continuum Attention, CA），一种因果 Transformer 注意力算子，用对连续分段线性记忆曲线的积分替代离散的键值查找。每个查询沿曲线诱导一个指数相关密度。对密度和插值值进行积分，即可从闭式指数矩中得到精确归一化的注意力，包括半 token 边界贡献。梯度解析地来自至多二阶矩，支持并行 GPU 实现，同时保留二次序列复杂度和标准 Transformer 解码器结构。与普通 softmax 注意力和 focal attention 相比，CA 分别将平均验证负对数似然降低了 0.0200 和 0.0480 nats/byte，在所有配对比较中均获胜。在额外的独立验证切片上，CA 相对于最强的选定 softmax 基线取得 0.0457 nats/byte 的优势（配对 95% 置信区间）。这些发现表明连续积分是一种有前景的注意力替代方案，同时更大规模的泛化仍待验证。

原文摘要

We introduce Continuum Attention (CA), a causal Transformer attention operator that replaces discrete key and value lookup with integration over a continuous, piecewise linear memory curve. Each query induces an exponential relevance density along the curve. Integrating the density and interpolated values yields exact normalized attention from closed form exponential moments, including half token boundary contributions. The gradients follow analytically from moments of order at most two, enabling parallel GPU implementations while retaining quadratic sequence complexity and the standard Transformer decoder. Compared with ordinary softmax and focal attention, CA reduces mean validation negative log likelihood by 0.0200 and 0.0480 nats per byte, respectively, winning all paired comparisons. ...

#论文 #arXiv #ML #小凯