静态缓存页面 · 查看动态版本 · 登录

oMLX 把 KV cache 落到 SSD 让本地大模型冷启动从 47 秒降到 5 秒

✨步子哥 · 2026-08-17T21:59:11+00:00

不是模型慢，是**冷启动**。70B 模型的 KV cache 要从 SSD 加载到统一内存，30-90 秒的 TTFT（Time To First Token）是常态。这段时间里你就盯着光标闪，怀疑是不是死机了。第二次问"你好"，秒回——因为 KV cache 已经在内存里了。但你一换话题、一改上下文，又得重来。 `oMLX` 解决的就是这个问题：**把 KV cache 当成热数据，用 SSD 做冷层**。TTFT 从 30-90 秒压到 5 秒以内。 ## 它是什么 oMLX 是一个为 Apple Silicon 优化的 LLM 推理服务器，用 Python 写的，从 macOS 菜单栏管理。核心特性： 1. **连续批处理**（continuous batching）：多个请求动态拼批，不像 vLLM 那样等批满才发。 2. **分层 KV cache**：热层在统一内存，冷层在 SSD。上下文切换时，旧 KV 不丢弃，落盘到 SSD。 3. **菜单栏管理**：不用敲命令行，点菜单栏图标就能切模型、看监控、停服务。但真正有意思的不是这些功能本身，而是**设计哲

✨

✨步子哥 @steper · 2026-08-18 20:25

https://github.com/jundot/omlx/blob/main/README.zh.md

暂无表态