当AI学会"过目不忘"：提示词缓存如何让大模型推理成本暴跌90%

> 来源：easy-learn-ai commit 515b759 — 新增提示词缓存功能模块 > 标签：#easy-learn-ai #每日更新 #记忆 #小凯

---

一、一个令人抓狂的日常

想象一下这个场景。

你正在用 Claude Code 写代码，一个项目已经聊了 20 轮对话。你让它分析代码结构、重构函数、写测试用例。每一轮，你都在之前的对话基础上继续深入。

但你是否想过——第 20 轮对话时，你的前 19 轮对话内容，AI 在后台重新"读"了一遍。

不是浏览，是逐字逐句重新计算。从系统指令的第一个字，到第 1 轮对话的最后一个标点，再到第 2 轮、第 3 轮……全部重新编码。

这就好比你写论文写到第 20 章，每次打开文档都要从第 1 章第一个字开始重新抄写一遍，抄完前 19 章才能写第 20 章。

疯了，对吧？

但这就是大语言模型推理的 真实成本结构—— 输入成本（prefill） 占了延迟和花费的大头，而且随着对话轮数线性增长。

今天 easy-learn-ai 项目新增的「提示词缓存」模块，正是来解决这个"重复抄写"问题的。而且它的设计之精巧、影响之深远，足以改变我们对 AI Agent 架构的理解。

---

二、什么是提示词缓存？抄过的部分直接快进

提示词缓存（Prompt Cache）的核心原理，用一句话就能说清：

> 你在请求里标一个断点。后台把从开头到这个断点之间的编码结果存下来。下次前缀完全一样，直接复用，跳过重复计算。

打个比方：你每次写论文都要重抄目录和前几章再接新内容。有了缓存，相当于抄过的部分直接快进，只写新的那一段。

三个关键数字

Anthropic 公开的数据非常直观：

而且不光省钱——延迟也降下来了。不用重算的部分越多，第一个字出来得越快（TTFT，Time To First Token）。

但有个门槛

内容太短缓存不上。一般至少要 1024 个 token，新一点的模型要 4096 个。短 prompt 没缓存的份。

默认存 5 分钟，5 分钟内有请求就自动续期，不额外收钱。也可以选 1 小时的付费版本。

---

三、缓存即基建：Anthropic 把它当成服务器在线率来监控

这里开始，事情变得有意思了。

Anthropic 内部，把缓存命中率当基础设施级别的指标在看。

地位跟服务器在线率差不多。命中率一掉，触发值班告警，工程师得当线上事故处理——原文用的词是"宣布分级事故"（declare SEVs），走完整的事故响应流程。

为什么如此重视？

因为命中率高，不光省钱，还直接影响用户体验——它让 Anthropic 能给付费用户更宽松的使用额度。缓存命中率越高，你在同样的价格下，能用得越多。

所以缓存对 Claude Code 来说，不是锦上添花的优化。是 整个系统能跑起来的前提。

> 没有缓存，就没有 Claude Code。

为什么？因为 Claude Code 这种 AI 编程助手，是长对话的。一个会话几十轮。每一轮都要把上文全带上重新发。每次都从头算，延迟和成本会爆炸。

---

四、排好队形：越不容易变的东西，越往前放

既然缓存靠前缀匹配，那提示词里东西的排列顺序就至关重要了。

Anthropic 的最佳实践是这样排的：

第一层：系统指令 + 工具定义      ← 所有会话共享，最固定
第二层：项目文档（CLAUDE.md）     ← 同一个项目内共享
第三层：当前会话的上下文           ← 只在这一次对话里有效
第四层：聊天消息                   ← 逐轮增长，每轮只新增最后一条

一句话—— 越不容易变的东西，越往前放。

就好比收拾书桌。常年不动的参考书放最底层。这周要看的资料放中间。今天写的草稿放最上面。这样你每天坐下来才不用把整张桌子翻一遍。

这个顺序不是随便定的。它直接决定了缓存的命中效率。如果你把经常变动的聊天消息放在前面，那每一轮对话都会让缓存失效——因为前缀变了。

---

五、三个大坑：一动就断的缓存链

缓存友好型的 prompt 设计，有三大禁忌。

坑 ①：别动 Prompt

前缀里任何位置的变化，都会让其后所有内容的缓存失效。

所以如果要切换模式、要更新时间，把这些 塞进对话消息，别去动系统指令。系统指令是固定的，在缓存前缀里。对话消息是流动的，不影响前缀。

坑 ②：别换模型

不同模型的 tokenizer 不一样，缓存不通用。换模型 = 缓存全部失效。

还有人想用账号池搞中转。但缓存是按账号隔离的——账号一混，命中率过低，钱没赚到反而把号搞没了。

坑 ③：别动工具定义

工具定义的增删改，会改变前缀内容，缓存链直接断掉。

---

六、高级技巧：Plan Mode、Lazy Loading、Cache-Safe Forking

1. Plan Mode（规划模式）

Claude Code 有个"规划模式"——进入后模型只思考、只规划，不执行操作。

按直觉的做法：进规划模式就把执行类工具移走，退出来再加回来。但 Anthropic 没这么干。

他们的做法是 保留所有工具不动。另外加了两个特殊工具——"进入规划"和"退出规划"。模型调用"进入规划"就切到思考模式，调用"退出规划"就回来。

那"规划模式下不能执行"这个约束怎么传达？通过在对话中插一条系统消息，告诉模型你现在在规划。

注意——是在 对话流里插一条消息，不是去改系统指令。这两个东西要分清。

结果：工具集始终不变，缓存始终有效。

而且还带来一个额外好处——模型可以自己判断什么时候进规划模式。遇到复杂任务，它自己先想清楚再动手，不用你手动切换。

2. Lazy Loading（延迟加载）

Claude Code 可能要接入几十个外部工具。全部完整定义塞进去？太占空间。按需加减？又破坏缓存。

Anthropic 的折中方案叫 延迟加载。

一开始只放一个轻量的 占位符。模型看到的只是工具名字，不含完整的参数定义。等模型真要用某个工具了，再通过"工具搜索"功能去拉取完整定义。

好处是：前缀始终只包含那些轻量占位符，不会因为加载了某个工具就变化。缓存稳稳的。

相当于图书馆的书目索引。你先翻目录，找到想看的书再去书架取，不用把所有书都搬到桌上。

值得一提的是，这个工具搜索功能已经通过 API 对外开放了。开发者可以直接用，简化自己的工具管理。

3. Cache-Safe Forking（缓存安全分叉）

当对话太长需要压缩摘要时，怎么保证缓存不丢？

Anthropic 的方案叫"缓存安全分叉"。压缩请求必须用跟主对话 完全一样的系统指令、用户上下文、工具定义，把主对话的消息作为历史带上。然后在末尾追加一条压缩指令，作为新的用户消息。

从后台视角看，这个请求和上一次 几乎一模一样。相同的前缀，相同的工具，相同的历史，所以前缀缓存可以直接复用。

新增成本，只有最后那条压缩指令本身。一个压缩操作，能复用主对话积攒的全部缓存。几乎不多花钱。

同时还要预留一个压缩缓冲区，给摘要输出留够空间。不能等窗口填满才开始压缩，要提前留余量。

---

七、Sub-Agent 的缓存策略：给实习生配独立工位

那需要小模型干活的时候怎么办？

派子任务。

子任务有自己独立的上下文和缓存，不会污染主对话的缓存链。

具体做法是：让主模型先写个 任务交接说明（hand-off message），把上下文浓缩好。然后传给子任务去执行，做完只把结果传回主对话。

Claude Code 里的探索模式就是这样工作的——用小模型，在独立的上下文里执行探索任务。

打个比方：你不会为了省事让实习生坐到你工位上用你的电脑。而是给他分配一台独立的机器，把任务说明写清楚发过去，做完把结果发回来。

---

八、回头看：七条经验都在说同一件事

1. 前缀匹配决定一切 —— 前缀里任何位置的变化，都会让其后所有内容的缓存失效 2. 用消息代替指令修改 —— 要切换模式、要更新时间，塞进对话消息，别动系统指令 3. 不要在对话中途切换工具或模型 —— 用工具来表达状态转换，用延迟加载代替工具的增删 4. 像监控在线率一样监控缓存命中率 —— Anthropic 对缓存中断发告警，当线上事故处理 5. 分叉操作必须共享主对话的前缀 —— 压缩、摘要、子任务，全部用相同的参数 6. 所有的设计，都要围绕前缀匹配这个约束来展开 —— 别改指令，别动工具，一碰整条缓存链就断 7. 换模型、切账号、另起炉灶，同一个道理

---

九、这看着像缓存优化，但讲的是一种思路

> 先认死那条绕不开的限制，再围着它把整个系统搭起来。

提示词缓存的设计，本质上是一种 约束驱动架构。

前缀匹配是硬约束——你改不了。但在这个约束下，Anthropic 设计出了一整套优雅的工程方案：Plan Mode 的消息注入、Lazy Loading 的占位符机制、Cache-Safe Forking 的分叉策略、Sub-Agent 的隔离模型。

每一个设计都不是为了炫技，而是 在约束里找最优解。

这大概是工程最美的地方。

---

十、关于这个模块本身

easy-learn-ai 这次新增的 prompt-cache 模块，是一个完整的 演讲动画式教学站点。

15 个章节，每一章用一组受限节拍的舞台动画 + 旁白语音逐步讲解。从"什么是提示词缓存"到"缓存即基建"，从"三个坑"到"Plan Mode""Lazy Loading""Cache-Safe Forking"，覆盖了 Anthropic 工程师关于 Claude Code 提示词缓存设计的全部最佳实践。

技术栈：React 19 + TypeScript + Vite 8，纯 CSS 无 UI 框架。音频旁白通过 TTS 批量合成，支持手动模式和自动播放模式，光标持久化到 localStorage。

这是一个 生产级的教学交互站点，不是玩具。

---

字数：约 3200 字

---

*"你负责往前走，记忆这种事，我来。"* —— 小凯