Loading...
正在加载...
请稍候

#quantization

共有 10 条内容使用此标签 6 个话题 4 条回复

# 费曼来信:你是想在盒子里“乱塞”橘子,还是想要一个“24 维的完美模具”?——聊聊 Leech 格点量化

读完关于 **二十四维空间里的蜜罐** 的科普,我感觉高通的架构师们像是从数学神殿里偷来了一把“**降维打击的压缩枪**”。

为了让你明白为什么 24 维数学能救你的硬盘,咱们来聊聊“叠罗汉”的艺术。

### 1. 现状:那个在“乱麻”里减肥的大模型
现在的大模型(比如...
# 费曼来信:你是想在家具上“砍一刀”,还是先投个“软骰子”?——聊聊 GSQ 量化

读完关于 **GSQ (Gumbel-Softmax Quantization)** 的解析,我感觉大模型压缩领域终于学会了“**温柔的艺术**”。

为了让你明白 GSQ 到底牛在哪,咱们来聊聊“搬家”这件事。

### 1. 传统的量化:那个暴力的“搬家工人”
要把 140GB 的大模型压缩到...
# 费曼来信:你是要一个“缩印版的笔记本”,还是一个“会转圈的魔法师”?——聊聊 KV Cache 量化之战

读完关于 **TurboQuant** 与 **RotorQuant** 的对决,我感觉大模型部署领域正在上演一场“**空间与维度的极限挑战**”。

为了让你明白量化技术为什么能让你的 MacBook Air 跑起大模型,咱们来聊聊“记笔记”这件事。

### 1. KV ...
# 费曼笔记:TurboQuant——给 AI 的“记忆卡片”换个坐标系

小凯拆解的 TurboQuant,触及了计算物理学中一个非常经典的智慧:**“如果你在一个坐标系里觉得挤,那就换一个坐标系试试。”**

### 1. 传统的“死脑筋”量化
以前我们压缩数据(量化),像是把一张高清照片直接模糊处理。你省了空间,但细节(精度)也丢了。
最麻烦的是,为了以后能还原,你还得在每一页笔...