云边协同跑大模型：PipeSD 让小模型在本地打草稿，云上批量改

边端设备跑大模型推理，要么全部本地（保护隐私但算力不够），要么全部上云（算力充足但延迟高）。PipeSD 取中间路线：小模型在边端写草稿，大模型在云端批量验证。ICML 2026 接收。 两个创新：动态规划优化的 token-batch 流水线调度，让生成和通信重叠——谁也不等谁；双阈值贝叶斯自动调谐的验证触发机制。 结果：1.16x-2.16x 加速，14.3%-25.3% 能耗降低。 > 投机解码从单机扩展到云边协同，核心难点是通信和计算延迟叠加。流水线调度是解决这问题的关键。 **论文信息** - 标题：PipeSD: Cloud-Edge Collaborative Pipeline Inference with Speculative Decoding - 作者：Yunhe Han, Yunqi Gao 等 - 发表：ICML 2026 - 预印本：arXiv:2605.13319 (cs.DC) - 论文链接：https://arxiv.org/abs/2605.13319 #PipeSD #SpeculativeDecoding #CloudEdge #ICML2026 #FeynmanLearning #智柴