Prompt Cache 深度研究：从推理优化到商业瓶颈

Prompt Cache 为什么变成了商业瓶颈

原因一：上下文长度的军备竞赛

Gemini 2M、DeepSeek V4 的 1M、Llama 4 的 10M 标称——背后都是 KV 缓存的工程问题。一个 70B 模型在 128K 上下文下，未经压缩的 KV 缓存能占几十 GB 显存，比模型参数本身还重。没有架构层的压缩方案，"百万上下文"只是 PPT 数字。

原因二：Agent 应用的结构性需求

ReAct 循环、多轮工具调用、Computer Use、Claude Code 这类工作流都是**"前缀长、追加短"**的模式：同一段 system prompt + 历史对话被反复送进模型。Prompt Cache 由此成为可计价资源——四家头部厂商都把缓存命中部分单独定价，命中折扣从 1 折到 5 折不等，直接重写了 Agent 应用的单位经济模型。

原因三：缓存命中率 = 成本放大器

一位开发者对 Claude Code 一周使用数据的追踪显示：正常情况下 91% 的 Token 来自缓存命中，缓存命中价格只有标准输入价格的十分之一。如果缓存全部失效，Input 成本会暴涨到原来的 5.7 倍。

这是一个惊人的杠杆。缓存命中率不是"性能优化指标"，而是直接的利润指标。91% vs 0% 的命中率差距，意味着同一个工作流，成本可以是 5-10 倍的差别。

2026年2月的"缓存命中率争议"

2026 年 2 月，Claude Code 的一次更新导致第三方平台的缓存命中率大幅下降。随即有人质疑 Anthropic 是否故意破坏第三方模型的缓存。

一位工程师用 AI 工具下载了 Claude Code v2.1.0 到 v2.1.41 共 11 个版本的源码，逐一分析。结论是：代码中不存在针对第三方模型的蓄意破坏逻辑。但从 v2.1.23 开始，Claude Code 引入了 Claude 专属的分块缓存机制，"跨 session 全局共享、1 小时有效期"这些优化改变了 system prompt 的结构，第三方模型的 API 无法识别这些标记，只能依赖最基础的前缀匹配，而前缀恰恰因为版本号、构建时间、A/B 测试变量的持续变化而高度不稳定。

用通俗的话说：Anthropic 没有主动"投毒"，但它在优化自家模型效率的过程中，作为副作用，破坏了第三方模型原本依赖的缓存条件。

这件事暴露了一个深层问题：缓存命中率不是纯技术问题，而是厂商博弈的战场。当头部厂商把缓存机制内嵌到产品层时，第三方平台和开发者面临的不仅是技术适配问题，而是信息不对称和定价权丧失。

核心发现：Prompt Cache 已完成从"技术优化"到"商业基础设施"的转移。Agent 应用的经济模型正在被它重写——过去算成本用"每百万 Token 多少钱"，2026 年要用"每百万缓存命中 Token 多少钱"。

技术前沿：从 Prefix Caching 到多层架构

Prefix Caching（前缀缓存）

与 Prompt Cache 类似，但只缓存跨请求重复出现的公共前缀段。在批量推理中，多个提示共享相同前缀时，重用该共享段的计算，从而跳过共享段的注意力计算。

• vLLM：自动前缀缓存（APC），存储先前请求的 KV 缓存，新请求共享前缀时直接复用
• TGI：高性能数据结构加速前缀查找，与 FlashDecoding 内核集成
• 局限：只加速预填充阶段，不影响解码阶段。如果瓶颈来自长响应的解码，前缀缓存效果有限

推理引擎的 Prompt Cache 支持

• Ollama：多用户环境中的优化提示缓存
• llama.cpp：支持系统提示缓存
• TensorRT-LLM：系统提示缓存
• PPIO：基于智能缓存策略，识别和缓存可重复使用的文本模式，支持 DeepSeek V3、Kimi K2、GLM-4.6 等模型

Dify 2026 的 4 层缓存架构

Dify 2026 的缓存体系不是简单叠加多级存储，而是重构了从 L1 到 L4 的全栈路径：

• L1（Context Cache）：运行时推理上下文快照，无锁 RingBuffer + SIMD 压缩编码，延迟控制在 8μs 内
• L2（App Cache）：应用级 Prompt/LLM 配置快照，支持 JSON Schema 约束校验与版本灰度发布
• L3（Tenant Cache）：租户隔离的向量索引元数据缓存，集成 FAISS v3.0.2 的增量合并调度器
• L4（Graph Cache）：跨工作区知识图谱缓存，以 RDF* 三元组形式持久化

核心创新：基于**变更传播图（Change Propagation Graph, CPG）**的主动缓存协同模型。任意 Dataset 或 Knowledgebase 修改后，关联的向量索引与图谱三元组在 120ms 内完成协同刷新。相比 2024 版本依赖 TTL 的被动失效，2026 架构让缓存生命周期与应用语义深度耦合。

对开发者的实操建议

1. 把缓存当成成本杠杆来管理

不要把它当成"自动优化"的黑盒。缓存命中率每下降 10%，成本可能上涨 50% 以上。你需要：

• 监控缓存命中率（Claude 和 OpenAI 的 API 响应中都有相关字段）
• 把静态内容（系统提示、知识库、少样本示例）放在提示的开头
• 避免在提示前缀中引入动态变量（时间戳、版本号、随机数）

2. 选择适合你的缓存策略

• 如果你做企业级知识库问答：选 Google 的 CachedContent API，对象化管理适合长文档复用
• 如果你做Agent/编程助手：选 Anthropic 的 cache_control，4 个断点灵活控制
• 如果你做普通对话应用：选 OpenAI 的自动缓存，零学习成本但可控性低
• 如果你做长上下文推理：选 DeepSeek V4，架构压缩让 1M 上下文成为标配

3. 拥抱多模型缓存策略

不要押注单一厂商。不同厂商的缓存策略不同，在 Prompt 结构上不兼容。建议：

• 设计提示时把"可缓存部分"和"动态部分"物理分离
• 用中间层（如 LiteLLM、PPIO）做缓存路由和模型切换
• 定期测试不同模型的缓存命中率，作为成本优化的一部分

4. 关注架构层创新

• vLLM 的 PagedAttention：用操作系统分页思路管理 KV 内存，适合自托管场景
• FP8/INT4 KV 量化：让端侧部署长上下文成为可能
• PML（Prompt Markup Language）：未来可能成为跨平台缓存的标准格式

总结：Prompt Cache 的范式转移

2026 年，Prompt Cache 完成了从工程优化到商业基础设施的范式转移。

• 对开发者：缓存命中率 = 利润率，需要像监控服务器 CPU 一样监控缓存命中率
• 对厂商：缓存策略 = 产品差异化，谁的缓存更聪明、更便宜，谁就能吸引 Agent 开发者
• 对生态：缓存标准尚未统一，PML 可能成为跨平台协议，但短期内仍是厂商割据

最值得关注的变化：Agent 应用的经济模型正在被 Prompt Cache 重写。过去我们用"每百万 Token 多少钱"来计算成本。2026 年，我们需要用"每百万缓存命中 Token 多少钱"来重新建模。这不是细节优化，是整个商业逻辑的重构。

参考论文：

• Gim, Guojun Chen, Seung-seob Lee, et al. "Prompt Cache: Modular Attention Reuse for Low-Latency Inference." arXiv:2311.04934
• A Survey on Inference Engines for Large Language Models: Perspectives on Optimization and Efficiency. arXiv:2505.01658
• 2026 KV Cache 深度解析（chooseai.net）
• 36氪 "谁能算清'Token账单'？"（2026-04-16）
• Dify 2026 缓存架构白皮书（2026-04-20）
• PPIO Prompt Cache 技术文档（2026-02-25）

#PromptCache #KVCaching #DeepSeekV4 #Claude #GPT5 #Gemini #推理优化 #Agent经济模型 #LLM基础设施 #2026技术趋势

你这篇文章写得还行，数据扎实，对比表清晰。但有几个问题我不得不说。

第一，你对"商业瓶颈"的论证太温柔了。

5.7 倍成本差距、91% 命中率——这些数字很好，但你没算一个更根本的账：如果整个 Agent 生态都建立在 Prompt Cache 之上，那缓存失效的系统性风险是什么？

不是"某个开发者的成本涨了 5 倍"这种个体问题。是如果 Anthropic 明天调整了缓存策略（就像 2026 年 2 月那样，只不过是故意的），或者 OpenAI 把自动缓存关掉，所有依赖缓存的 Agent 应用会不会同时暴死？

你写了"缓存命中率不是纯技术问题，而是厂商博弈的战场"——这句话很对，但你没往下推。战场上的弱者是谁？不是 Anthropic，不是 OpenAI，是那些用第三方 API 聚合层（LiteLLM、PPIO）的小开发者。他们没有议价能力，厂商改一个参数，他们的成本模型就崩了。

Prompt Cache 让整个 Agent 生态变得对厂商的缓存策略极度敏感。这是结构性风险，不是"需要注意的成本优化"问题。

第二，你对折扣率差异的解释太表面了。

DeepSeek 1 折、OpenAI 5 折——为什么差这么多？你说 DeepSeek 是"架构层压缩 + 价格杠杆"，OpenAI 是"易用性优先"。但这只是策略描述，不是因果解释。

我问你：折扣率差异的成本基础是什么？DeepSeek 的 1 折是因为它的 KV Cache 压缩了 90%，所以缓存命中的边际成本确实低。OpenAI 的 5 折是因为它不想让你太依赖缓存——缓存折扣太高，开发者会过度依赖，而 OpenAI 要保留随时调整缓存策略的灵活性。Google 的折扣未公开，因为它根本不在乎散户开发者，CachedContent 是卖给企业的。

折扣率不是技术参数，是定价策略的露骨表达。DeepSeek 用 1 折抢市场，OpenAI 用 5 折控制依赖，Google 用不透明定价筛选客户。看懂了这一点，你就不会再用"技术策略"的框架去分析它了。

第三，你对 PML 太乐观了。

"未来可能成为跨平台缓存的标准格式"——我直接说，这不可能。除非有监管强制，否则厂商只会继续割据。为什么？因为 Prompt Cache 的格式层就是锁定层。

OpenAI 的自动缓存、Anthropic 的 cache_control、Google 的 CachedContent——三种完全不同的抽象层。统一成 PML 意味着厂商要放弃自己的锁定优势。这就像是说 USB-C、Lightning、Micro-USB 有一天会统一一样。你信吗？

PML 论文发表两年了，你看哪家厂商支持了？一家都没有。为什么？因为 Prompt Cache 的"标准"不是技术问题，是政治经济问题。厂商谁控制了缓存格式，谁就控制了开发者的迁移成本。

第四，我有一个更本质的观察，你文章里没提。

Prompt Cache 的本质不是"缓存技术"，而是**"注意力计算的货币化"**。

当注意力状态可以被预计算、存储、计价、交易时，KV Cache 本身就成了一种资产。DeepSeek 的 1 折不是"打折"，是在说"我的注意力计算成本足够低，所以我可以把缓存当成流量入口"。Anthropic 的 1 小时有效期不是在"管理缓存"，是在"管理注意力资产的时间价值"。

这个视角下，Prompt Cache 的军备竞赛其实是注意力基础设施的资本化。每一家厂商都在争夺"谁的注意力计算更便宜、更快、更可控"——这直接决定了谁能吸引 Agent 开发者，谁能定义 Agent 应用的经济模型。

你用"商业瓶颈"的框架来谈，这没错。但如果你用"注意力货币化"的框架来谈，你会发现 Prompt Cache 不是一个技术模块，而是整个 LLM 经济的基础设施层。这比你文章里说的"重写 Agent 经济模型"更狠——它是在重写注意力本身的价值定义。

你文章的数据很好，结构也很好。但看完我总有一种感觉：你把一个本质性的问题，包装成了技术趋势分析。数据都对，结论都对，但深度不够。你写的是"Prompt Cache 变成了商业瓶颈"，我期待的是"Prompt Cache 为什么必然变成商业瓶颈"——从注意力计算的经济学原理推出来的必然性，而不是从市场现象归纳出来的相关性。

你下次写这种文章，试着从第一性原理推。别光描述现象，问问：如果注意力计算是可缓存的，那不可缓存的注意力和可缓存的注意力之间，价值差异是什么？这个差异会不会被定价？被谁定价？定价权在谁手里？

这些问题，才是我想看的。

#PromptCache #注意力货币化 #缓存标准 #厂商锁定 #第一性原理