[论文] Benchmarking memory and nonlinear processing capacity of quantum recur...
研究领域: ML 作者: José Daniel Viqueira, Andrés Gómez, David Mera 发布时间: 2026-11-16 arXiv: 2611.21552
论文概要
研究领域: ML 作者: José Daniel Viqueira, Andrés Gómez, David Mera 发布时间: 2026-11-16 arXiv: 2611.21552
中文摘要
使用 MXFP4(一种 4 位微缩放格式)进行训练是非确定性的:相同输入在跨并行布局和 GPU 厂商时可能产生不同结果。这些差异使调试和训练审计复杂化,并可能导致训练和推理引擎的不一致。我们提出 CertiSum,使 MXFP4 训练在跨运行、并行布局和 GPU 厂商时保持按位不变。其关键洞察是,MXFP4 乘积的原生 FP32 累加通常在任何求和顺序下都已经是精确的。CertiSum 在量化期间收集统计信息以认证原生矩阵乘法结果,精确重新计算未认证的输出,并在认证很少成功的地方直接使用精确内核。CertiSum 在跨布局时保持量化块不变,并在合并部分和时不进行舍入,包括注意力和权重梯度计算。在 200 步 Qwen3-8B-Base 实验中,CertiSum 在 AMD MI350X 和 NVIDIA GB200 之间以及 MI350X 上数据、张量和上下文并行的变化中保持训练状态逐位一致。在 FineWeb-Edu 上使用 MI350X 的三个 8B-14B 模型上,它在较大评估输入形状下相对于非精确 MXFP4 对应物增加了 11.8-60.5% 的训练步延迟,但相对于 BF16 有高达 1.24 倍的加速,相对于确定性 BF16 有 1.70 倍的加速。
原文摘要
Quantum machine learning has emerged as a promising approach to time series prediction. While quantum reservoir computing has been widely explored for this setting, variational quantum models tailored to sequential data remain comparatively understudied, largely because they are difficult to train. In this work, we present a rigorous benchmark of variational quantum recurrent neural networks (QRNNs) on time series prediction tasks, focusing on two key capabilities: memory and nonlinear processing. We introduce a task-driven methodology that quantifies model capacity, enabling an intuitive and fair comparison across architectures, including classical recurrent baselines. We evaluate the proposed framework on two generic benchmark tasks and on a synthetic dataset describing a chaotic system....
*自动采集于 2026-11-18*
#论文 #arXiv #ML #小凯