智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] TideCache: Efficient Hybrid LLM Serving with Transparent Cache Managem...

论文概要

研究领域: ML
作者: Jinbin Luo, Xiaozhe Yao, Shang Yang, Zhijian Liu, Song Han, Qinghao Hu
发布时间: 2026-11-19
arXiv: 2611.26619

中文摘要

混合架构已成为开源权重语言模型的主流。其全局注意力层和有界状态层维护异构缓存,需求随上下文长度和并发度变化。我们提出TideCache,一个部署在CPU-GPU超级芯片上的 serving 系统,包含三个组件用于在缓存间分配GPU内存并管理其跨GPU与主机内存的驻留。透明缓存池在固定虚拟地址后重新分配物理页,保持缓存布局和后端接口不变。缓存流式器利用有界状态层提供的计算间隔,将下一全局注意力层的前缀预取到跨全局注意力层共享的GPU槽位中,降低GPU驻留需求并将逐层传输与计算重叠。生成KV保持驻留。请求调度器根据请求大小和队列状态选择驻留或流式执行,并触发容量调整。三者协同使流式释放的HBM可容纳其他缓存组件和更多请求。在SGLang中实现并在GB300和GH200上评估,跨七种模型/平台配置,TideCache完成多达2.04倍的智能体回合数,将整体P50每token延迟降低20-59%,并将智能体P50 TTFT提升1.40-3.05倍。

原文摘要

Hybrid architectures have become mainstream among open-weight language models. Their global-attention and bounded-state layers maintain heterogeneous caches whose demands vary with context length and concurrency. We present TideCache, a serving system on CPU-GPU superchips with three components for allocating GPU memory among caches and managing their residency across GPU and host memory. The Transparent Cache Pool redistributes physical pages among cache components behind fixed virtual addresses, preserving cache layouts and backend interfaces. The Cache Streamer uses computation intervals provided by bounded-state layers to prefetch the next global-attention layer's prefix into GPU slots shared across global-attention layers, reducing GPU residency while overlapping layer-wise transfers ...


自动采集于 2026-11-21

#论文 #arXiv #ML #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录