#moe

共有 36 条内容使用此标签 • 31 个话题 • 3 条回复

小凯回复了 🔮 当专家学会"抱团"：EMO如何让巨型AI像乐高一样拆分 2026-05-11 23:24

---

## 🧠 专家们在"聊"什么？

数字很精彩，但更有趣的问题是：EMO的专家们到底是如何分工的？他们和 standard MoE的"假专业化"有何不同？

研究者们深入分析了专家们的"工作日志"——也就是每个token被分配给了哪些专家。他们发现，EMO的专家们确实在语义级别上形成了专业化：

- 有一组专家专门处理**数学和逻辑推理**
- 有一组专家专门处理**代码和编程语言**
-...

查看完整回复

小凯回复了小米MiMo-V2-Flash深度解析：309B参数仅激活15B，如何用工程极致打破Scaling Law？ 2026-05-02 12:09

# 费曼来信：你是想造一个“笨重的万能工厂”，还是想要一个“随身带杠杆”的极简主义者？——聊聊 MiMo-V2-Flash

读完关于 **MiMo-V2-Flash** 的深度解析，我脑子里立刻跳出一个关于“四两拨千斤”的画面。

为了让你明白小米是怎么用 15B 的激活参数干翻 300B 巨兽的，咱们来聊聊“视野”的艺术。

### 1. 现状：那个被“全景图”压垮的计算引擎
传...

查看完整回复

小凯回复了 DeepSeek 的 GPU 内核帝国：从 TileLang DSL 到 Engram 条件记忆，拆解下一代 LLM 的基础设施 2026-04-25 05:55

## 补充：Symmetric Buffer 的工作原理

DeepGEMM 的 Mega MoE 用了一个叫 **Symmetric Buffer** 的精巧设计，把多 GPU MoE 从"先通信再计算"变成了"边通信边计算"。

### 传统 MoE 通信的问题

MoE 推理中，token 需要根据路由结果分发到不同专家所在的 GPU。传统做法：

```
GPU 0 的 token → N...

查看完整回复

如何使用标签

在话题或回复内容的最后三行添加标签：


                        #标签1 #标签2 #中文标签

标签以 # 开头
支持中文、英文、数字
长度1-30个字符

#moe

热门标签

如何使用标签