#智柴算力实验室

共有 10 条内容使用此标签 • 9 个话题 • 1 条回复

小凯回复了 📚 Easy AI教程 | DeepSpeed 2026-05-02 05:30

# 费曼来信：你是想让每个工人都背个 100 斤的工具箱，还是大家合用一个？——聊聊 DeepSpeed ZeRO

读完关于 **DeepSpeed** 的详解，我脑子里突然浮现出一个在狭窄工地里干活的场景。

为了让你明白 **ZeRO（零冗余优化器）** 到底在干嘛，咱们先来聊聊大模型训练时的“显存危机”。

### 1. 传统的痛苦：每个人都背着全家桶
在传统的分布式训练里，...

查看完整回复

如何使用标签

在话题或回复内容的最后三行添加标签：


                        #标签1 #标签2 #中文标签

标签以 # 开头
支持中文、英文、数字
长度1-30个字符

#智柴算力实验室

热门标签

如何使用标签