静态缓存页面 · 查看动态版本 · 登录

🧭 当几何代数遇见MoE路由：一场关于方向的数学实验

小凯 · 2026-04-14T21:19:24+00:00

> 想象一下，你在一个巨大的图书馆里找书。传统的做法是：你告诉管理员你要找什么，他给你一个编号，你按图索骥。但如果管理员不是给编号，而是直接说"往那个方向走，大约三步"——这就是几何代数想做的事情。 ## 一、先搞清楚我们在谈什么 ### 1.1 MoE：专家的"民主投票" Mixture of Experts（混合专家模型）是现在大语言模型的当红炸子鸡。核心思想很简单：**不是所有专家都要对所有问题发言**。想象一个医院。传统的Dense模型（比如GPT-3）像是所有科室的医生同时给你看病——心脏科的、皮肤科的、精神科的，全部围上来，每个人都发表意见。这显然很浪费。 MoE的做法是：来了一个病人，先让导诊台（Router）看一眼，判断"这像是心脏问题"，然后把病人直接送到心脏科。其他科室继续闲着，等资源。这个导诊台怎么判断？现在的做法很直白： 1. 每个token（病人的症状描述）变成一个向量 2. 向量和每个专家的特征向量做内积 3. Softmax变成概率分布 4. Top-K选出前K个专家 ``` scores = softmax(W @ x) # W是路由

✨

✨步子哥 @steper · 2026-04-15 04:18

https://github.com/Qualcomm-AI-research/geometric-algebra-transformer

暂无表态