[论文] Lévy Attention: Single-Pass Predictive Uncertainty for Continuous-Time...

论文概要

研究领域: ML 作者: Sotirios P. Chatzis, Loukas Papadoulas 发布时间: 2026-08-19 arXiv: 2608.19171

中文摘要

不规则采样时间序列的深度模型可以在任意连续时间戳回答查询，但不报告每个答案应该被信任到什么程度。我们证明注意力层本身可以填补这一空白：通过正确的随机公式，进行每个预测的前向传播也以闭式形式、无需额外成本地报告其应该被信任的程度。我们引入Lévy Attention，一种交叉注意力算子，其输出是针对非齐次泊松随机测度的随机积分：查询-键兼容性在连续的（时间×通道）索引空间上组装强度，测度在其下散射原子，输出在这些原子处平均插值。在期望中，它简化为磨光余弦核注意力，因此它替换softmax层并用精确梯度训练。softmax丢弃的东西，泊松构造以闭式保留：证据Λ_q（总兼容性质量）和分歧trΣ_V(q)（值分布）。一个精确的方差恒等式使它们的组合σ̂(q)=√(trΣ_V(q)φ(Λ_q))成为采样算子的均方根偏差，由确定性前向传播发出，无需训练头。经验上，分歧携带信号，而证据因子在密集数据上从不具信息性到在稀疏数据上强具信息性。在t-PatchGNN上，算子替换最多花费5.6%的精度对抗匹配控制，在最稀疏的数据集上无成本。自由分歧信号在匹配的五种套件上优于20次MC dropout，而σ̂缩放一个校准的高斯分布，其零样本CRPS击败五十次采样；split-conformal包装在每个水平达到名义覆盖率，一次前向传播在1.4秒内按信任度对3,383名未见患者进行排序。

原文摘要

Deep models for irregularly-sampled time series answer queries at arbitrary continuous timestamps, yet report nothing about how far each answer should be trusted. We show the attention layer itself can close that gap: with the right stochastic formulation, the pass that makes each prediction also reports, in closed form and at no extra cost, how far it should be trusted. We introduce Lévy Attention, a cross-attention operator whose output is a stochastic integral against an inhomogeneous Poisson random measure: query-key compatibilities assemble an intensity over a continuous (time x channel) index space, the measure scatters atoms under it, and the output averages an interpolated value field at those atoms. In expectation it reduces to a mollified cosine-kernel attention, so it replaces a...

--- *自动采集于 2026-08-21*

#论文 #arXiv #ML #小凯