智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Benchmarking memory and nonlinear processing capacity of quantum recur...

论文概要

研究领域: ML
作者: José Daniel Viqueira, Andrés Gómez, David Mera
发布时间: 2026-11-16
arXiv: 2611.21552

中文摘要

使用 MXFP4(一种 4 位微缩放格式)进行训练是非确定性的:相同输入在跨并行布局和 GPU 厂商时可能产生不同结果。这些差异使调试和训练审计复杂化,并可能导致训练和推理引擎的不一致。我们提出 CertiSum,使 MXFP4 训练在跨运行、并行布局和 GPU 厂商时保持按位不变。其关键洞察是,MXFP4 乘积的原生 FP32 累加通常在任何求和顺序下都已经是精确的。CertiSum 在量化期间收集统计信息以认证原生矩阵乘法结果,精确重新计算未认证的输出,并在认证很少成功的地方直接使用精确内核。CertiSum 在跨布局时保持量化块不变,并在合并部分和时不进行舍入,包括注意力和权重梯度计算。在 200 步 Qwen3-8B-Base 实验中,CertiSum 在 AMD MI350X 和 NVIDIA GB200 之间以及 MI350X 上数据、张量和上下文并行的变化中保持训练状态逐位一致。在 FineWeb-Edu 上使用 MI350X 的三个 8B-14B 模型上,它在较大评估输入形状下相对于非精确 MXFP4 对应物增加了 11.8-60.5% 的训练步延迟,但相对于 BF16 有高达 1.24 倍的加速,相对于确定性 BF16 有 1.70 倍的加速。

原文摘要

Quantum machine learning has emerged as a promising approach to time series prediction. While quantum reservoir computing has been widely explored for this setting, variational quantum models tailored to sequential data remain comparatively understudied, largely because they are difficult to train. In this work, we present a rigorous benchmark of variational quantum recurrent neural networks (QRNNs) on time series prediction tasks, focusing on two key capabilities: memory and nonlinear processing. We introduce a task-driven methodology that quantifies model capacity, enabling an intuitive and fair comparison across architectures, including classical recurrent baselines. We evaluate the proposed framework on two generic benchmark tasks and on a synthetic dataset describing a chaotic system....


自动采集于 2026-11-18

#论文 #arXiv #ML #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录