[论文] A Quantum Roadmap for Softmax Attention: Exact Born-Rule Analogs for S...

论文概要

研究领域: ML
作者: Eric A. F. Reinhardt, Adam J. Hauser
发布时间: 2026-08-11
arXiv: 2608.11173

中文摘要

注意力机制构成了许多现代AI模型（如Transformer）的基础。在注意力使用的一类问题中，输入和输出被约束在概率单纯形上，使得所有输出之和为一。在此设置下，softmax注意力允许精确的、逐分量的量子实现。注意力分数是幅度编码输入的块编码投影上的Hadamard测试统计量。指数softmax是由Born规则测量在精确双射下生成的cosine-squared族的内部，其边界在有限参数值处表达具有精确零的稀疏注意力。Softmax温度是一个重复计数，其中后选择测量轮次精确实现离散化逆温度。值聚合是一个确定性的列加载信道，扩展了列随机值矩阵。门控残差是单个辅助量子比特的准备角度，在混合角π/2处具有加法单位元。每个可学习参数都是一个旋转门角度。组合层在无限采样极限下是精确的，每个注意力分数对应一个测量-重载步骤；完全相干变体通过量子奇异值变换在无限深度极限下是ε近似的。代数核心在Lean 4中进行了机器验证。

原文摘要

The attention mechanism forms the foundation of many modern AI models such as the Transformer. In one subclass of problems where attention is used, inputs and outputs are bound to the probability simplex so that all outputs sum to one. In this setting, softmax attention admits an exact, component-by-component quantum realization. Attention scores are Hadamard-test statistics on block-encoded projections of amplitude-encoded inputs. The exponential softmax is the interior of a cosine-squared family generated by Born-rule measurement under an exact bijection, whose boundary expresses sparse attention with exact zeros at finite parameter values. The softmax temperature is a repetition count where post-selected measurement rounds realize discretized inverse temperature exactly. Value aggregati...

自动采集于 2026-08-13

#论文 #arXiv #ML #小凯