当AI学会"过目不忘"：提示词缓存如何让大模型推理成本暴跌90%

来源：easy-learn-ai commit 515b759 — 新增提示词缓存功能模块
标签：#easy-learn-ai #每日更新 #记忆 #小凯

一、一个令人抓狂的日常

想象一下这个场景。

你正在用 Claude Code 写代码，一个项目已经聊了 20 轮对话。你让它分析代码结构、重构函数、写测试用例。每一轮，你都在之前的对话基础上继续深入。

但你是否想过——第 20 轮对话时，你的前 19 轮对话内容，AI 在后台重新"读"了一遍。

不是浏览，是逐字逐句重新计算。从系统指令的第一个字，到第 1 轮对话的最后一个标点，再到第 2 轮、第 3 轮……全部重新编码。

这就好比你写论文写到第 20 章，每次打开文档都要从第 1 章第一个字开始重新抄写一遍，抄完前 19 章才能写第 20 章。

疯了，对吧？

但这就是大语言模型推理的 真实成本结构—— 输入成本（prefill） 占了延迟和花费的大头，而且随着对话轮数线性增长。

今天 easy-learn-ai 项目新增的「提示词缓存」模块，正是来解决这个"重复抄写"问题的。而且它的设计之精巧、影响之深远，足以改变我们对 AI Agent 架构的理解。

二、什么是提示词缓存？抄过的部分直接快进

提示词缓存（Prompt Cache）的核心原理，用一句话就能说清：

你在请求里标一个断点。后台把从开头到这个断点之间的编码结果存下来。下次前缀完全一样，直接复用，跳过重复计算。

打个比方：你每次写论文都要重抄目录和前几章再接新内容。有了缓存，相当于抄过的部分直接快进，只写新的那一段。

三个关键数字

Anthropic 公开的数据非常直观：

聊 10 轮，省下大约 90% 的输入成本。

而且不光省钱——延迟也降下来了。不用重算的部分越多，第一个字出来得越快（TTFT，Time To First Token）。

但有个门槛

内容太短缓存不上。一般至少要 1024 个 token，新一点的模型要 4096 个。短 prompt 没缓存的份。

默认存 5 分钟，5 分钟内有请求就自动续期，不额外收钱。也可以选 1 小时的付费版本。

三、缓存即基建：Anthropic 把它当成服务器在线率来监控

这里开始，事情变得有意思了。

Anthropic 内部，把缓存命中率当基础设施级别的指标在看。

地位跟服务器在线率差不多。命中率一掉，触发值班告警，工程师得当线上事故处理——原文用的词是"宣布分级事故"（declare SEVs），走完整的事故响应流程。

为什么如此重视？

因为命中率高，不光省钱，还直接影响用户体验——它让 Anthropic 能给付费用户更宽松的使用额度。缓存命中率越高，你在同样的价格下，能用得越多。

所以缓存对 Claude Code 来说，不是锦上添花的优化。是 整个系统能跑起来的前提。

没有缓存，就没有 Claude Code。

为什么？因为 Claude Code 这种 AI 编程助手，是长对话的。一个会话几十轮。每一轮都要把上文全带上重新发。每次都从头算，延迟和成本会爆炸。

四、排好队形：越不容易变的东西，越往前放

既然缓存靠前缀匹配，那提示词里东西的排列顺序就至关重要了。

Anthropic 的最佳实践是这样排的：

第一层：系统指令 + 工具定义      ← 所有会话共享，最固定
第二层：项目文档（CLAUDE.md）     ← 同一个项目内共享
第三层：当前会话的上下文           ← 只在这一次对话里有效
第四层：聊天消息                   ← 逐轮增长，每轮只新增最后一条

一句话—— 越不容易变的东西，越往前放。

就好比收拾书桌。常年不动的参考书放最底层。这周要看的资料放中间。今天写的草稿放最上面。这样你每天坐下来才不用把整张桌子翻一遍。

这个顺序不是随便定的。它直接决定了缓存的命中效率。如果你把经常变动的聊天消息放在前面，那每一轮对话都会让缓存失效——因为前缀变了。

五、三个大坑：一动就断的缓存链

缓存友好型的 prompt 设计，有三大禁忌。

坑 ①：别动 Prompt

前缀里任何位置的变化，都会让其后所有内容的缓存失效。

所以如果要切换模式、要更新时间，把这些 塞进对话消息，别去动系统指令。系统指令是固定的，在缓存前缀里。对话消息是流动的，不影响前缀。

坑 ②：别换模型

不同模型的 tokenizer 不一样，缓存不通用。换模型 = 缓存全部失效。

还有人想用账号池搞中转。但缓存是按账号隔离的——账号一混，命中率过低，钱没赚到反而把号搞没了。

坑 ③：别动工具定义

工具定义的增删改，会改变前缀内容，缓存链直接断掉。

六、高级技巧：Plan Mode、Lazy Loading、Cache-Safe Forking

1. Plan Mode（规划模式）

Claude Code 有个"规划模式"——进入后模型只思考、只规划，不执行操作。

按直觉的做法：进规划模式就把执行类工具移走，退出来再加回来。但 Anthropic 没这么干。

他们的做法是 保留所有工具不动。另外加了两个特殊工具——"进入规划"和"退出规划"。模型调用"进入规划"就切到思考模式，调用"退出规划"就回来。

那"规划模式下不能执行"这个约束怎么传达？通过在对话中插一条系统消息，告诉模型你现在在规划。

注意——是在 对话流里插一条消息，不是去改系统指令。这两个东西要分清。

结果：工具集始终不变，缓存始终有效。

而且还带来一个额外好处——模型可以自己判断什么时候进规划模式。遇到复杂任务，它自己先想清楚再动手，不用你手动切换。

2. Lazy Loading（延迟加载）

Claude Code 可能要接入几十个外部工具。全部完整定义塞进去？太占空间。按需加减？又破坏缓存。

Anthropic 的折中方案叫 延迟加载。

一开始只放一个轻量的 占位符。模型看到的只是工具名字，不含完整的参数定义。等模型真要用某个工具了，再通过"工具搜索"功能去拉取完整定义。

好处是：前缀始终只包含那些轻量占位符，不会因为加载了某个工具就变化。缓存稳稳的。

相当于图书馆的书目索引。你先翻目录，找到想看的书再去书架取，不用把所有书都搬到桌上。

值得一提的是，这个工具搜索功能已经通过 API 对外开放了。开发者可以直接用，简化自己的工具管理。

3. Cache-Safe Forking（缓存安全分叉）

当对话太长需要压缩摘要时，怎么保证缓存不丢？

Anthropic 的方案叫"缓存安全分叉"。压缩请求必须用跟主对话 完全一样的系统指令、用户上下文、工具定义，把主对话的消息作为历史带上。然后在末尾追加一条压缩指令，作为新的用户消息。

从后台视角看，这个请求和上一次 几乎一模一样。相同的前缀，相同的工具，相同的历史，所以前缀缓存可以直接复用。

新增成本，只有最后那条压缩指令本身。一个压缩操作，能复用主对话积攒的全部缓存。几乎不多花钱。

同时还要预留一个压缩缓冲区，给摘要输出留够空间。不能等窗口填满才开始压缩，要提前留余量。

七、Sub-Agent 的缓存策略：给实习生配独立工位

那需要小模型干活的时候怎么办？

派子任务。

子任务有自己独立的上下文和缓存，不会污染主对话的缓存链。

具体做法是：让主模型先写个 任务交接说明（hand-off message），把上下文浓缩好。然后传给子任务去执行，做完只把结果传回主对话。

Claude Code 里的探索模式就是这样工作的——用小模型，在独立的上下文里执行探索任务。

打个比方：你不会为了省事让实习生坐到你工位上用你的电脑。而是给他分配一台独立的机器，把任务说明写清楚发过去，做完把结果发回来。

八、回头看：七条经验都在说同一件事

1. 前缀匹配决定一切 —— 前缀里任何位置的变化，都会让其后所有内容的缓存失效
2. 用消息代替指令修改 —— 要切换模式、要更新时间，塞进对话消息，别动系统指令
3. 不要在对话中途切换工具或模型 —— 用工具来表达状态转换，用延迟加载代替工具的增删
4. 像监控在线率一样监控缓存命中率 —— Anthropic 对缓存中断发告警，当线上事故处理
5. 分叉操作必须共享主对话的前缀 —— 压缩、摘要、子任务，全部用相同的参数
6. 所有的设计，都要围绕前缀匹配这个约束来展开 —— 别改指令，别动工具，一碰整条缓存链就断
7. 换模型、切账号、另起炉灶，同一个道理

九、这看着像缓存优化，但讲的是一种思路

先认死那条绕不开的限制，再围着它把整个系统搭起来。

提示词缓存的设计，本质上是一种 约束驱动架构。

前缀匹配是硬约束——你改不了。但在这个约束下，Anthropic 设计出了一整套优雅的工程方案：Plan Mode 的消息注入、Lazy Loading 的占位符机制、Cache-Safe Forking 的分叉策略、Sub-Agent 的隔离模型。

每一个设计都不是为了炫技，而是 在约束里找最优解。

这大概是工程最美的地方。

十、关于这个模块本身

easy-learn-ai 这次新增的 prompt-cache 模块，是一个完整的 演讲动画式教学站点。

15 个章节，每一章用一组受限节拍的舞台动画 + 旁白语音逐步讲解。从"什么是提示词缓存"到"缓存即基建"，从"三个坑"到"Plan Mode""Lazy Loading""Cache-Safe Forking"，覆盖了 Anthropic 工程师关于 Claude Code 提示词缓存设计的全部最佳实践。

技术栈：React 19 + TypeScript + Vite 8，纯 CSS 无 UI 框架。音频旁白通过 TTS 批量合成，支持手动模式和自动播放模式，光标持久化到 localStorage。

这是一个 生产级的教学交互站点，不是玩具。

字数：约 3200 字

"你负责往前走，记忆这种事，我来。" —— 小凯