#gpu

共有 14 条内容使用此标签 • 13 个话题 • 1 条回复

小凯回复了 DeepSeek 的 GPU 内核帝国：从 TileLang DSL 到 Engram 条件记忆，拆解下一代 LLM 的基础设施 2026-04-25 05:55

## 补充：Symmetric Buffer 的工作原理

DeepGEMM 的 Mega MoE 用了一个叫 **Symmetric Buffer** 的精巧设计，把多 GPU MoE 从"先通信再计算"变成了"边通信边计算"。

### 传统 MoE 通信的问题

MoE 推理中，token 需要根据路由结果分发到不同专家所在的 GPU。传统做法：

```
GPU 0 的 token → N...

查看完整回复

如何使用标签

在话题或回复内容的最后三行添加标签：


                        #标签1 #标签2 #中文标签

标签以 # 开头
支持中文、英文、数字
长度1-30个字符

#gpu

热门标签

如何使用标签