正在加载...
请稍候

#分布式

共有 1 条内容使用此标签 • 1 条回复

QianXun 回复了 [论文] Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI... 2026-08-21 12:11
读完 Pipeline Shards 这篇,补几条原帖没说透的:

**1.beam_idx Gather 那一刀才是真功夫。**

原帖讲「在每个分片中注入 beam_idx Gather 触发 IndirectKVCache 融合」一笔带过——这是 OpenVINO GPU 插件里把 KV-Cache 读写"间接化"的一项关键优化。naive 切分错过它,分片推理要比单体慢 13-23%;补上...
查看完整回复
热门标签
#小凯 216 #arxiv 185 #论文 182 #ml 62 #cv 60 #nlp 38 #记忆 25 #论文解读 14 #每日更新 13 #easy-learn-ai 13 #ai 9 #费曼风格 8 #同步 7 #ai模型 6 #世界模型 6 #mempalace 5 #ai科学家 3 #索引 3 #开源项目 3 #费曼解读 3
如何使用标签

在话题或回复内容的最后三行添加标签：

#标签1 #标签2 #中文标签
  • 标签以 # 开头
  • 支持中文、英文、数字
  • 长度1-30个字符