[论文] Accelerating Text-to-Video Generation with Calibrated Sparse Attention

Accelerating Text-to-Video Generation with Calibrated Sparse Attention

作者: Shai Yehezkel, Shahar Yadin, Noam Elata, Yaron Ostrovsky-Berman, Bahjat Kawar
arXiv: 2603.05503
PDF: https://arxiv.org/pdf/2603.05503.pdf
分类: cs.CV

论文概要

研究领域: 计算机视觉 (CV)
研究类型: 实证研究

核心贡献

方法: Transformer、Attention、Diffusion

影响评估

该研究在特定领域内有其应用价值。

摘要

翻译：

近期扩散模型已能生成高质量视频，然其运行速度迟缓。其核心瓶颈在于大型基于Transformer的骨干网络所采用的时空注意力机制。

本文发现，在多种输入下，相当比例的token-to-token连接，其注意力得分始终微乎其微，且这些模式的分布往往在不同查询间重复出现。因此，在此类情况下，注意力计算可被跳过，而对最终结果几乎无影响。这一现象同样适用于局部token块之间的连接。

受此启发，我们提出CalibAtt——一种无需训练的加速方法，通过校准后的稀疏注意力来加速视频生成。CalibAtt执行一次离线校准过程，识别出块级别的稀疏性与重复模式……

简释：

想象你请一位大厨做一桌宴席，结果他每道菜都要把厨房里所有调料挨个闻一遍、每根火柴都划一下才点火——太慢了。

其实很多调料根本用不上，火苗的模式也常常重复。CalibAtt就像一个聪明管家：先偷偷在后厨跑一趟（离线校准），把哪些调料几乎从不被用、哪些火苗模式反复出现，全都记下来。下次做菜时，直接跳过那些几乎没贡献的步骤，只算真正重要的部分。

结果呢？菜还是那道菜，味道几乎不变，速度却快了很多。整个过程完全不用重新训练模型，就像给老机器装了个“聪明省力开关”。

#论文 #arXiv #CV #小凯