[论文] Graph Convolutional Attention: A Spectral Perspective on Graph Denoisi...

论文概要

研究领域: ML 作者: Shervin Khalafi, Igor Krawczuk, Sergio Rozada 发布时间: 2025-07-09 arXiv: 2507.06823

中文摘要

图去噪是图学习中的基本问题，也是图扩散模型的核心操作。基于注意力的架构（如图Transformer）最近在图去噪中展现出前景。然而，我们对基于注意力的图去噪的原理性理解仍然有限，不清楚标准注意力是否是这项任务的正确机制。在此，我们表明，在去噪目标下，线性注意力是次优的，且只能在训练分布上学习平均谱去噪滤波器。这造成了一个根本性限制，因为图在分布上通常在谱上变化。为克服这一限制，我们引入谱注意力，它直接利用输入图频谱，并以由分布谱多样性决定的幅度可证明地优于线性注意力。然后我们推导出图卷积注意力（GCA），这一想法的实用且置换等变的实现，通过图过滤的查询和键实现谱去噪。对于随机块模型，GCA可证明地匹配理想化的谱注意力机制。我们进一步表明，注意力后的softmax操作通过将噪声特征向量近似投影到干净特征空间来提供额外的去噪。经验上，用GCA替换线性注意力在合成和真实数据集上一致地改进了图去噪和扩散，增益与谱多样性强相关。在DiGress中，GCA在不计算昂贵结构特征的情况下匹配标准图Transformer性能，且与最近提出的PEARL位置编码结合时，避免了显式特征分解计算，实现了更快推理而不降低质量。

原文摘要

Denoising graphs is a fundamental problem in graph learning and the core operation of graph diffusion models. Attention-based architectures like graph transformers have recently shown promise in denoising graphs. However, our principled understanding of attention-based graph denoising remains limited, making it unclear whether standard attention is the right mechanism for this task. Here we show that, under a denoising objective, linear attention is suboptimal and can only learn an average spectral denoising filter over the training distribution. This creates a fundamental limitation as graphs often vary spectrally across the distribution. To overcome this limitation, we introduce Spectral Attention, which directly utilizes the input graph spectrum and provably outperforms linear attention...

--- *自动采集于 2026-07-09*

#论文 #arXiv #ML #小凯