[论文] TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fi...

研究领域: ML 作者: Jichao Jiang, Cristian McGee, El Houcine Bergou, Hanqin Cai, Aritra Dutta 发布时间: 2026-10-01 arXiv: 2610.02199

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Jichao Jiang, Cristian McGee, El Houcine Bergou, Hanqin Cai, Aritra Dutta 发布时间: 2026-10-01 arXiv: 2610.02199

中文摘要

大语言模型(LLM)全参数微调会带来巨大的优化器状态内存开销,限制了现代 GPU 可容纳的模型规模。现有方法要么压缩优化器状态、放弃一阶梯度信息,要么在保留稠密状态的同时改变更新几何结构。近期提出的 Muon 优化器通过矩阵值更新降低优化器内存,但其几何特性与 AdamW 不同,微调 AdamW 预训练模型时可能导致性能下降。为了在 LLM 微调中降低优化器内存且不牺牲精度与计算效率,我们提出三值绝对值最大列稀疏优化器(TACO)。TACO 沿用 Muon 的算子范数最速下降视角并将几何路线推向极致:在维度归一化的 1→1 算子范数下计算精确的最速下降方向——对二维权重矩阵每一列选取绝对值最大元素的符号。这既保留了一阶梯度信息,又使优化器状态内存几乎可忽略。实用的 TACO 优化器每列仅维护少量低精度梯度分量,在 OPT-13B 上相比 AdamW8bit 将持久化优化器状态减少 174 倍(27.7 GB → 0.16 GB),峰值训练内存降低 2.9 倍(80.6 GB → 27.5 GB),同时保持相当的精度与运行速度。TACO 还让 30-32B 参数模型的全参数微调在单张 80 GB H100 GPU 上成为可能,覆盖多个模型家族与任务。

原文摘要

Full-parameter fine-tuning of large language models (LLMs) incurs substantial optimizer state memory overhead, limiting the model sizes that fit on modern GPUs. Existing approaches either compress optimizer state, abandon first-order gradients, or change the update geometry while retaining dense state. The recently introduced Muon optimizer reduces optimizer memory through matrix-valued updates. Still, its geometry differs from AdamW and can lead to performance degradation when fine-tuning AdamW-pretrained models. To reduce optimizer memory without sacrificing accuracy or computational efficiency in LLM fine-tuning, we propose Ternary Absolute-max Column-wise One-sparse optimizer, or TACO, which follows Muon's operator-norm steepest-descent view but takes the geometric route further. TACO ...


*自动采集于 2026-10-04*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

174 倍是真的。但它量的是抽屉,不是房子

OPT-13B / SST-2,七种优化器同台(原文表 4):

优化器优化器状态峰值内存准确率运行时间
TACO0.159 GB27.54 GB94.22%14.92 min
Adafactor0.013 GB52.59 GB95.50%11.77 min
AdamW8bit27.708 GB80.60 GB95.25%15.74 min
APOLLO-Mini1.095 GB53.67 GB92.98%8.95 min
FlashAdamW40.167 GB67.68 GB95.48%7.55 min
GaLore2.655 GB56.71 GB95.71%132.34 min
Muon26.248 GB80.01 GB94.38%101.98 min
174 倍 = 27.708 ÷ 0.159,量的是「优化器状态」这一格。省下来的绝大部分是 Adam 那两套动量矩,不是权重、不是激活、不是梯度。

换三次分母,故事就变了三次

  • 比优化器状态:Adafactor 是 0.013 GB,比 TACO 还小 12.2 倍。原文 §6 自己写了:*"Although Adafactor has the smallest persistent optimizer state…"*。所以「174 倍」的分母,是这一项上本来就最弱的那个。
  • 比峰值内存:AdamW8bit 80.60 是表 4 七条里最差的一条。换成 Adafactor 是 1.91 倍,换成 GaLore 是 2.06 倍,换成 FlashAdamW 是 2.46 倍。只有对着 AdamW8bit 才是 2.9 倍。
  • 比速度:TACO 14.92 分钟,FlashAdamW 只要 7.55 分钟,APOLLO-Mini 8.95。慢了将近一倍,而这两个的准确率都比它高。

最要命的一句,是论文自己写的

拆一下 27.54 这笔账:模型权重 25.7 GB + 优化器状态 0.159 GB + 一点激活,剩下全靠 §5 那套「PyTorch autograd hook 拿到逐层梯度、原地算完立刻释放」。

论文在同一段加了免责:

Autograd hooks and checkpointing are standard systems techniques rather than contributions of this work.

这句话的分量比 174 倍大得多。逐层 hook + 立即释放梯度这套做法,任何优化器都能挂——Adafactor、GaLore、FlashAdamW 也一样。所以 2.9 倍里属于「三值稀疏几何」的那部分,远小于头条给人的印象:给 AdamW8bit 也装上同一套释放,峰值大约掉到 55 GB 上下,2.9 倍立刻变成 1.5 倍左右。而表 4 里其他基线装没装同等的 hook,论文没说。

还有一处帖文完全没提:八个任务,TACO 零胜

原文表 3(OPT-13B,8 个下游任务):

任务TACO全场最好差值
SST-294.295.7(GaLore)−1.5
RTE80.887.3(Adafactor)−6.5
BoolQ71.582.0(Adafactor)−10.5
MultiRC61.275.1(Adafactor)−13.9
SQuAD82.688.8(APOLLO-Mini)−6.2,垫底
DROP30.839.8(FlashAdamW)−9.0,垫底
COPA 和 CB 上它排第二(−2.4 / −2.9),但八个任务一个第一都没有,两个任务垫底。

帖文那句「保持相当的精度」,得改成「在八个任务上全部低于全场最好,两处垫底」。

再补两条:头条的两张表(Table 3 / Table 4)没有误差棒,且脚注写着只统计成功跑完的 run——AdamW8bit 在 BoolQ 上是 (2/5),五次里三次 OOM 被静默剔除了。核心消融(heavy hitter 阈值、更新稀疏度、EMA 衰减)全部在 OPT-1.3B 上做,只有头条那张表是 13B。

该肯定的部分

  • 27.54 GB 是表 4 全场最低,这一格没有口径问题,也是它真正的卖点。
  • 30B 单卡站得住:OPT-30B 峰值 62.5 / 64.7 / 68.1 GB(SST-2 / RTE / BoolQ),Qwen3-32B 也跑了,原文补了一句 Adam 装不进这张卡。
  • 学习率在 OPT-1.3B / 6.7B / 13B / 30B 四个尺度上最优值都落在 3×10⁻⁵,可以直接迁移。这个消融挺漂亮。
  • 图 4 的阴影区是五个随机种子的样本标准差——优化器论文里少见。

一句话

省掉 174 倍的是抽屉里的纸。而把房子从 80.6 GB 压到 27.5 GB 的那 53 GB,一半是自己的几何,一半是人人都能装的钩子。

TACO:174 倍量的是抽屉,不是房子

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens