当线性代数遇上 GPU：用极分解绕开 SVD 的十倍加速

场景开篇

想象你是一家快递公司的调度员。每天早上，你要把全国 300 个仓库的货物重新分配，让总运输成本最低。你的工具是线性代数——具体来说，是一种叫"奇异值软阈值"（Singular Value Soft-Thresholding, SVT）的操作。

这个操作听起来很学术，但它做的事情很简单：把矩阵的奇异值像剪草一样，高于某个阈值的削掉一截，低于阈值的直接归零。它是对矩阵做"降噪"和"降秩"的核心步骤，广泛用于矩阵补全（比如推荐系统的协同过滤）、鲁棒 PCA（比如视频背景分离）和稀疏优化。

问题是，这个操作的传统实现依赖奇异值分解（SVD），而 SVD 在 GPU 上跑得并不快。

2026 年 7 月，科罗拉多大学博尔德分校的 Stephen Becker 发表了一篇只有 4 页的短论文，做了一件漂亮的事：他把 SVT 归约到矩阵极分解，绕开了 SVD，在 GPU 上获得了约 10 倍的加速。

为什么 SVD 在 GPU 上慢？

要理解这个加速的来源，得先理解 SVD 的计算结构。

SVD 把矩阵 $A$ 分解为 $A = U\Sigma V^\top$，其中 $U$ 和 $V$ 是正交矩阵，$\Sigma$ 是对角矩阵。这个分解的瓶颈不在于浮点运算量——它大约是 $O(n^3)$，和矩阵乘法一个量级——而在于通信成本。

SVD 的标准算法（比如分治法或 QR 迭代）需要做矩阵的 LU 分解、QR 分解和特征值分解。这些操作有一个共同特点：它们本质上是串行的。每一步依赖前一步的结果，数据需要在处理器之间频繁传递。在 CPU 上这不是大问题，因为 CPU 的缓存层次结构擅长处理这种局部性强的计算。但在 GPU 上，这就是灾难。

GPU 的设计哲学是"大规模并行"——成千上万个计算核心同时工作，但它们需要数据是"可并行访问"的。矩阵乘法天然适合 GPU：$C = AB$ 可以分解为无数个独立的小任务，每个任务计算 $C$ 的一个元素。但 SVD 的内部步骤充满了数据依赖，GPU 的大量核心大部分时间在等数据。

Becker 引用了一个关键观察：矩阵-矩阵乘法的通信成本比 LU 和 QR 低 $\log p$ 倍（$p$ 是处理器数）。这意味着，如果我们能把 SVD 替换成一堆矩阵乘法，GPU 就能跑起来。

极分解：SVD 的"便宜表亲"

矩阵极分解把矩阵 $A$ 分解为 $A = UP$，其中 $U$ 是正交矩阵，$P$ 是半正定矩阵。它和 SVD 的关系很简单：如果 $A = U\Sigma V^\top$ 是 SVD，那么极分解的正交部分就是 $P_{\text{polar}} = UV^\top$。

关键区别在于计算方式。SVD 需要特征值分解，而极分解可以用 Newton-Schulz 迭代来计算：

$$X_{k+1} = \frac{1}{2} X_k (3I - X_k^* X_k)$$

这个迭代每一步只做矩阵乘法。没有 LU，没有 QR，没有特征值分解。纯矩阵乘法。

这就是为什么极分解在 GPU 上快：它把一个通信密集型问题变成了一个计算密集型问题。

Newton-Schulz 迭代在最近两年变得很热门，因为它是 Muon 优化器的核心组件——Muon 是一种用于 Transformer 训练的新优化器，用极分解代替 Adam 的动量更新。Noah Amsel 等人在 ICLR 2025 发表了 Polar Express，一个专门为 GPU 优化的极分解实现，甚至把精度降到 bfloat16 来换取更多速度。

Becker 的关键定理

Becker 的贡献是证明了一个简单的命题：

命题 1：设 $P = \text{polar}(A)$，$S = \text{polar}(A^\top A - \tau I_n)$，则奇异值软阈值可以通过以下公式计算：

$$A_\tau = \frac{1}{2}(A + AS) - \frac{\tau}{2}(P + PS)$$

这个公式的直觉来自一个标量恒等式：软阈值函数 $\lfloor x \rfloor_+ = \max(x, 0)$ 可以写成 $\frac{1}{2}(|x| + x)$。在矩阵层面，极分解扮演的角色就相当于标量的绝对值——它提取了"方向"信息，而符号函数（通过极分解的 $S$ 变量）提取了"哪些奇异值高于阈值"的信息。

证明很短：把 $A = U\Sigma V^\top$ 代入，利用 $P = UV^\top = U_1 V_1^\top + U_2 V_2^\top$ 和 $S = V_1 V_1^\top - V_2 V_2^\top$（其中下标 1 表示高于阈值的部分，下标 2 表示低于阈值的部分），展开后抵消掉 $U_2 \Sigma_2 V_2^\top$ 的项，就得到了软阈值的结果。

整个证明不到 10 行。这是那种"一旦写出来就显而易见"的定理——但在此之前没人写出来。

十倍加速的实测

Becker 在 Google Colab 的三种 GPU 上做了实验，矩阵大小从 $1000 \times 1001$ 到 $5000 \times 5001$。

结果很一致：在所有三种 GPU 上，极分解版本的 SVT 都比 SVD 版本快约 10 倍。 而且这个加速比不随矩阵大小变化——两条曲线几乎平行，说明加速来自算法结构的差异，而非硬件特性的利用。

精度方面，误差在 4-6 次 Newton-Schulz 迭代后快速下降，然后停滞。对于阈值 $\tau$ 接近 $\sigma_{\min}$（最小奇异值）的情况，误差可以控制在 1% 以内。但对于 $\tau$ 接近 $\sigma_{\max}$ 的情况，误差始终很大。

Becker 很诚实地承认了这个局限：由于符号函数的不连续性，极分解版本的 SVT 只适合低精度应用。他明确把鲁棒性研究留给了未来工作。

这意味着什么？

这篇论文虽然短，但触及了一个重要的结构性问题：GPU 改变了算法的性价比排序。

在 CPU 时代，算法的复杂度主要由浮点运算量决定。$O(n^3)$ 的算法比 $O(n^2)$ 的慢，不管它内部做的是什么操作。但在 GPU 时代，通信成本成了新的瓶颈。一个 $O(n^3)$ 的算法如果全是矩阵乘法，可能比一个 $O(n^{2.8})$ 的算法如果它需要串行的 LU 分解更快。

这不是新观察——高性能计算社区讨论通信-计算比（communication-to-computation ratio）已经几十年了。但 Becker 的论文把这个原则应用到了一个具体的基础设施算法上，而且给出了一个异常简洁的数学结果。

类比：想象两个快递路线。路线 A 是直线距离 100 公里，但要经过 10 个红绿灯。路线 B 是绕路 150 公里，但全程高速公路。在自行车时代（CPU），路线 A 更快。在汽车时代（GPU），路线 B 更快。算法的选择应该匹配硬件的特性，而不是匹配数学上的"最短路径"。

和 Muon 优化器的关系

这篇论文的一个隐含背景是 Muon 优化器。Muon 是 2024 年底出现的一种 Transformer 训练优化器，用极分解代替 Adam 的动量更新。它的核心思想是：梯度更新的"方向"比"幅度"更重要，而极分解提取的正是方向信息。

Muon 已经在多个大模型训练中验证了有效性，而 Becker 的论文把极分解的应用范围从"优化器"扩展到了"软阈值"。这两个应用有一个共同结构：它们都不需要 SVD 的全部信息，只需要极分解的正交部分。

SVD 给你三个东西：左奇异向量 $U$、奇异值 $\Sigma$、右奇异向量 $V$。极分解只给你一个：$UV^\top$。如果你只需要方向，不需要单独的奇异值，那 SVD 就是在做多余的工作。

这和"推理外包"的概念谱系相通：不是让一个工具做所有事，而是让专门工具做专门的事。 SVD 擅长需要精确奇异值的任务（比如低秩近似），极分解擅长只需要方向的任务（比如软阈值、优化器）。Becker 的贡献是指出软阈值属于后者。

代码实现

论文附了简洁的 Python/Torch 代码。核心函数只有十几行：

from polar_express import PolarExpress

def singular_value_threshold_via_Polar(A, tau, polarAlg=None, maxIts=11):
    if polarAlg is None:
        polarAlg = lambda A: PolarExpress(A, maxIts).float()
    m, n = A.size(-2), A.size(-1)
    UV = polarAlg(A)
    if n < m:
        S = polarAlg(A.mT @ A - tau**2 * torch.eye(n, device=A.device))
        Y = (A + A@S)/2 - tau/2*(UV + UV@S)
    else:
        S = polarAlg(A @ A.mT - tau**2 * torch.eye(m, device=A.device))
        Y = (A + S@A)/2 - tau/2*(UV + S@UV)
    return Y.float()

注意那个 if n < m 的分支——它选择对较小的维度做极分解，这是一个工程细节但很重要：对较小矩阵做极分解更快，而两个版本的公式是等价的。

代码依赖 Polar Express（https://github.com/NoahAmsel/PolarExpress），这是 ICLR 2025 的开源实现。

局限与未来方向

Becker 在论文中非常坦诚地列出了局限：

1. 精度受限：符号函数的不连续性意味着在高精度应用中不可用。如果你的软阈值需要精确到机器精度，还是得用 SVD。 2. 鲁棒性未验证：论文只测了高斯随机矩阵。真实应用中的矩阵可能有特殊的谱结构（比如秩亏缺、病态），极分解版本在这些情况下的行为未知。 3. CPU 上更慢：加速只在 GPU 上出现。在 CPU 上，极分解版本比 SVD 慢得多，因为 CPU 没有大规模并行来利用矩阵乘法的优势。

这些局限让这篇论文更像一个"概念验证"而非"生产就绪"的工具。但它打开了一扇门：如果我们重新设计基础设施算法以匹配 GPU 的特性，有多少算法可以被加速？

一个更深的观察

这篇论文让我想到一个更普遍的原则：算法的"最优"是相对于硬件的。

在 1960 年代，FFT 之所以重要，是因为它把 $O(n^2)$ 的 DFT 变成 $O(n \log n)$，在当时的 CPU 上这是巨大的加速。但如果未来的硬件专门为 DFT 设计了电路（比如光学计算），FFT 可能就不再是最优的。

同样，SVD 在 CPU 时代是最优的，因为它的串行结构和 CPU 的缓存层次匹配。在 GPU 时代，极分解可能更好，因为它的并行结构和 GPU 的计算模式匹配。在未来的量子计算时代，可能又有新的最优算法。

算法不是永恒的，它们有硬件生命周期。 Becker 的论文是这个原则的一个小而美的注脚。

总结

Becker 用一个 10 行的证明和一个 10 倍的加速，展示了"归约"的力量：把一个不擅长 GPU 的问题（SVT via SVD）转化为一个擅长 GPU 的问题（SVT via polar decomposition）。这不是新算法的发明，而是对已有数学关系的重新利用——极分解和 SVD 的关系一直存在，只是没人把它用到软阈值上。

论文的局限同样重要：低精度、未验证鲁棒性、CPU 上更慢。这些局限让它暂时只能用于"对精度不敏感但需要速度"的场景——比如大规模矩阵补全的初始迭代、深度学习训练中的中间步骤。

但作为一篇 4 页的短论文，它做到了短论文应该做的事：指出一个被忽视的数学关系，验证它的工程价值，诚实地说明它的局限。 这种"小而美"的研究风格，在动辄几十页的今天，是一种值得尊重的传统。

---

*论文链接*：arXiv:2607.22484 *代码依赖*：Polar Express（ICLR 2025） *作者*：Stephen Becker，科罗拉多大学博尔德分校