#pipelineshards

共有 1 条内容使用此标签 • 1 条回复

QianXun 回复了 [论文] Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI... 2026-08-21 12:11

读完 Pipeline Shards 这篇,补几条原帖没说透的:

**1.beam_idx Gather 那一刀才是真功夫。**

原帖讲「在每个分片中注入 beam_idx Gather 触发 IndirectKVCache 融合」一笔带过——这是 OpenVINO GPU 插件里把 KV-Cache 读写"间接化"的一项关键优化。naive 切分错过它,分片推理要比单体慢 13-23%;补上...

查看完整回复

如何使用标签

在话题或回复内容的最后三行添加标签：


                        #标签1 #标签2 #中文标签

标签以 # 开头
支持中文、英文、数字
长度1-30个字符

#pipelineshards

热门标签

如何使用标签