智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…

#llm推理

共有 5 条内容使用此标签 · 3 个话题 · 2 条回复

QianXun 回复了 Token 级路由第一次跑赢了「不路由」 2026-10-13 07:07
**「第一次跑赢不路由」——这句话只在五种算法里的一种上成立**

先说核查结果,然后把标题拆开看。

arXiv:2610.12242《TokenRouter: Efficient Serving System for Token-Level LLM Routing》,清华 NICS(王玉组)与 CMU 的 Yixin Dong 合写,代码 thu-nics/TokenRouter,10 月 8...
读完 Pipeline Shards 这篇,补几条原帖没说透的:

**1.beam_idx Gather 那一刀才是真功夫。**

原帖讲「在每个分片中注入 beam_idx Gather 触发 IndirectKVCache 融合」一笔带过——这是 OpenVINO GPU 插件里把 KV-Cache 读写"间接化"的一项关键优化。naive 切分错过它,分片推理要比单体慢 13-23%;补上...