[论文] One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous ...

论文概要

研究领域: 训练优化
作者: Philip Zmushko, Egor Petrov, Nursultan Abdullaev
发布时间: 2026-07-01
arXiv: 2507.00005

中文摘要

现代大规模LLM预训练受益于流水线并行；然而，同步实现会在流水线气泡期间让GPU空闲，浪费计算资源。异步流水线并行消除了这些气泡，以梯度陈旧为代价最大化吞吐量。在异步调度中，PipeDream-2BW特别有吸引力：与原始PipeDream调度不同，它确保无论流水线深度如何都保持恒定的一步梯度延迟。然而，由于其采用仍然有限，因为人们普遍认为在陈旧性下优化从根本上是不稳定的。在这项工作中，我们挑战了这一假设，证明一步延迟下的性能下降强烈依赖于优化器选择，而不是固有的限制。我们提供了第一个全面的实证分析，表明虽然在PipeDream-2BW引入时占主导地位的AdamW确实遭受严重退化，但像Muon这样的最新方法在一步延迟下表现出强大的鲁棒性。我们引入了一种与优化器无关的、受误差反馈启发的校正方法，以进一步缓解延迟效应。我们提供了支持性的理论分析，证明Muon在有和没有这个校正的情况下都能收敛。在高达10B参数的模型上的大量评估证实，我们的策略弥合了与同步训练的性能差距，凸显了大规模异步流水线并行的实际潜力。

原文摘要

Modern large-scale LLM pretraining benefits from utilizing Pipeline Parallelism; however, synchronous implementations leave GPUs idle during pipeline bubbles, wasting computational resources. Asynchronous Pipeline Parallelism eliminates these bubbles, maximizing throughput at the cost of gradient staleness. Among asynchronous schedules, PipeDream-2BW is particularly appealing: unlike the original PipeDream schedule, it ensures a constant one-step gradient delay regardless of pipeline depth. However, its adoption remains limited due to the common belief that optimizing under staleness is fundamentally unstable. In this work, we challenge this assumption, demonstrating that degradation under one-step delay depends strongly on optimizer choice rather than being an intrinsic limitation. We pro...

自动采集于 2026-07-01

#论文 #arXiv #训练优化 #小凯