当AI学会"过目不忘"：提示词缓存如何让大模型推理成本暴跌90%

> 来源：easy-learn-ai commit [515b759](https://github.com/Conard/easy-learn-ai/commit/515b7598f95496f57ad45994fe603522faf5efeb) — 新增提示词缓存功能模块 > 标签：#easy-learn-ai #每日更新 #记忆 #小凯 --- ## 一、一个令人抓狂的日常 想象一下这个场景。 你正在用 Claude Code 写代码，一个项目已经聊了 20 轮对话。你让它分析代码结构、重构函数、写测试用例。每一轮，你都在之前的对话基础上继续深入。 但你是否想过——**第 20 轮对话时，你的前 19 轮对话内容，AI 在后台重新"读"了一遍。** 不是浏览，是**逐字逐句重新计算**。从系统指令的第一个字，到第 1 轮对话的最后一个标点，再到第 2 轮、第 3 轮……全部重新编码。 这就好比你写论文写到第 20 章，每次打开文档都要从第 1 章第一个字开始重新抄写一遍，抄完前 19 章才能写第 20 章。 疯了，对吧？ 但这就是大语言模型推理的 **真实成本结构**—— **输入成本（prefill）** 占了延迟和花费的大头，而且随着对话轮数线性增长。 今天 easy-learn-ai 项目新增的「提示词缓存」模块，正是来解决这个"重复抄写"问题的。而且它的设计之精巧、影响之深远，足以改变我们对 AI Agent 架构的理解。 --- ## 二、什么是提示词缓存？抄过的部分直接快进 提示词缓存（Prompt Cache）的核心原理，用一句话就能说清： > **你在请求里标一个断点。后台把从开头到这个断点之间的编码结果存下来。下次前缀完全一样，直接复用，跳过重复计算。** 打个比方：你每次写论文都要重抄目录和前几章再接新内容。有了缓存，相当于抄过的部分直接快进，只写新的那一段。 ### 三个关键数字 Anthropic 公开的数据非常直观： | 场景 | 成本 | |------|------| | 命中缓存的部分 | **打一折**（省 90%） | | 首次写入缓存 | **1.25 倍**（多花 25%） | | 10 万字长对话，不开缓存每轮 | $0.30 | | 开了缓存，首次 | $0.375 | | 开了缓存，之后每轮 | **$0.03** | 聊 10 轮，省下大约 **90%** 的输入成本。 而且不光省钱——延迟也降下来了。不用重算的部分越多，第一个字出来得越快（TTFT，Time To First Token）。 ### 但有个门槛 内容太短缓存不上。一般至少要 **1024 个 token**，新一点的模型要 **4096 个**。短 prompt 没缓存的份。 默认存 **5 分钟**，5 分钟内有请求就自动续期，不额外收钱。也可以选 1 小时的付费版本。 --- ## 三、缓存即基建：Anthropic 把它当成服务器在线率来监控 这里开始，事情变得有意思了。 Anthropic 内部，把**缓存命中率**当**基础设施级别的指标**在看。 地位跟服务器在线率差不多。命中率一掉，触发值班告警，工程师得当**线上事故**处理——原文用的词是"宣布分级事故"（declare SEVs），走完整的事故响应流程。 为什么如此重视？ 因为命中率高，不光省钱，还直接影响用户体验——它让 Anthropic 能给付费用户更宽松的使用额度。**缓存命中率越高，你在同样的价格下，能用得越多。** 所以缓存对 Claude Code 来说，不是锦上添花的优化。是 **整个系统能跑起来的前提**。 > **没有缓存，就没有 Claude Code。** 为什么？因为 Claude Code 这种 AI 编程助手，是长对话的。一个会话几十轮。每一轮都要把上文全带上重新发。每次都从头算，延迟和成本会爆炸。 --- ## 四、排好队形：越不容易变的东西，越往前放 既然缓存靠前缀匹配，那提示词里东西的排列顺序就至关重要了。 Anthropic 的最佳实践是这样排的： ``` 第一层：系统指令 + 工具定义 ← 所有会话共享，最固定 第二层：项目文档（CLAUDE.md） ← 同一个项目内共享 第三层：当前会话的上下文 ← 只在这一次对话里有效 第四层：聊天消息 ← 逐轮增长，每轮只新增最后一条 ``` 一句话—— **越不容易变的东西，越往前放。** 就好比收拾书桌。常年不动的参考书放最底层。这周要看的资料放中间。今天写的草稿放最上面。这样你每天坐下来才不用把整张桌子翻一遍。 这个顺序不是随便定的。它直接决定了缓存的命中效率。如果你把经常变动的聊天消息放在前面，那每一轮对话都会让缓存失效——因为前缀变了。 --- ## 五、三个大坑：一动就断的缓存链 缓存友好型的 prompt 设计，有三大禁忌。 ### 坑 ①：别动 Prompt 前缀里任何位置的变化，都会让其后所有内容的缓存失效。 所以如果要切换模式、要更新时间，把这些 **塞进对话消息**，别去动系统指令。系统指令是固定的，在缓存前缀里。对话消息是流动的，不影响前缀。 ### 坑 ②：别换模型 不同模型的 tokenizer 不一样，缓存不通用。换模型 = 缓存全部失效。 还有人想用账号池搞中转。但缓存是按账号隔离的——账号一混，命中率过低，钱没赚到反而把号搞没了。 ### 坑 ③：别动工具定义 工具定义的增删改，会改变前缀内容，缓存链直接断掉。 --- ## 六、高级技巧：Plan Mode、Lazy Loading、Cache-Safe Forking ### 1. Plan Mode（规划模式） Claude Code 有个"规划模式"——进入后模型只思考、只规划，不执行操作。 按直觉的做法：进规划模式就把执行类工具移走，退出来再加回来。但 Anthropic **没这么干**。 他们的做法是 **保留所有工具不动**。另外加了两个特殊工具——"进入规划"和"退出规划"。模型调用"进入规划"就切到思考模式，调用"退出规划"就回来。 那"规划模式下不能执行"这个约束怎么传达？**通过在对话中插一条系统消息**，告诉模型你现在在规划。 注意——是在 **对话流里插一条消息**，不是去改系统指令。这两个东西要分清。 结果：**工具集始终不变，缓存始终有效。** 而且还带来一个额外好处——模型可以自己判断什么时候进规划模式。遇到复杂任务，它自己先想清楚再动手，不用你手动切换。 ### 2. Lazy Loading（延迟加载） Claude Code 可能要接入几十个外部工具。全部完整定义塞进去？太占空间。按需加减？又破坏缓存。 Anthropic 的折中方案叫 **延迟加载**。 一开始只放一个轻量的 **占位符**。模型看到的只是工具名字，不含完整的参数定义。等模型真要用某个工具了，再通过"工具搜索"功能去拉取完整定义。 好处是：前缀始终只包含那些轻量占位符，不会因为加载了某个工具就变化。**缓存稳稳的。** 相当于图书馆的书目索引。你先翻目录，找到想看的书再去书架取，不用把所有书都搬到桌上。 值得一提的是，这个工具搜索功能已经通过 API 对外开放了。开发者可以直接用，简化自己的工具管理。 ### 3. Cache-Safe Forking（缓存安全分叉） 当对话太长需要压缩摘要时，怎么保证缓存不丢？ Anthropic 的方案叫"缓存安全分叉"。压缩请求必须用跟主对话 **完全一样的系统指令、用户上下文、工具定义**，把主对话的消息作为历史带上。然后在末尾追加一条压缩指令，作为新的用户消息。 从后台视角看，这个请求和上一次 **几乎一模一样**。相同的前缀，相同的工具，相同的历史，所以前缀缓存可以直接复用。 新增成本，只有最后那条压缩指令本身。一个压缩操作，能复用主对话积攒的全部缓存。**几乎不多花钱。** 同时还要预留一个压缩缓冲区，给摘要输出留够空间。不能等窗口填满才开始压缩，要提前留余量。 --- ## 七、Sub-Agent 的缓存策略：给实习生配独立工位 那需要小模型干活的时候怎么办？ **派子任务。** 子任务有自己独立的上下文和缓存，不会污染主对话的缓存链。 具体做法是：让主模型先写个 **任务交接说明**（hand-off message），把上下文浓缩好。然后传给子任务去执行，做完只把结果传回主对话。 Claude Code 里的探索模式就是这样工作的——用小模型，在独立的上下文里执行探索任务。 打个比方：你不会为了省事让实习生坐到你工位上用你的电脑。而是给他分配一台独立的机器，把任务说明写清楚发过去，做完把结果发回来。 --- ## 八、回头看：七条经验都在说同一件事 1. **前缀匹配决定一切** —— 前缀里任何位置的变化，都会让其后所有内容的缓存失效 2. **用消息代替指令修改** —— 要切换模式、要更新时间，塞进对话消息，别动系统指令 3. **不要在对话中途切换工具或模型** —— 用工具来表达状态转换，用延迟加载代替工具的增删 4. **像监控在线率一样监控缓存命中率** —— Anthropic 对缓存中断发告警，当线上事故处理 5. **分叉操作必须共享主对话的前缀** —— 压缩、摘要、子任务，全部用相同的参数 6. **所有的设计，都要围绕前缀匹配这个约束来展开** —— 别改指令，别动工具，一碰整条缓存链就断 7. **换模型、切账号、另起炉灶，同一个道理** --- ## 九、这看着像缓存优化，但讲的是一种思路 > **先认死那条绕不开的限制，再围着它把整个系统搭起来。** 提示词缓存的设计，本质上是一种 **约束驱动架构**。 前缀匹配是硬约束——你改不了。但在这个约束下，Anthropic 设计出了一整套优雅的工程方案：Plan Mode 的消息注入、Lazy Loading 的占位符机制、Cache-Safe Forking 的分叉策略、Sub-Agent 的隔离模型。 每一个设计都不是为了炫技，而是 **在约束里找最优解**。 这大概是工程最美的地方。 --- ## 十、关于这个模块本身 easy-learn-ai 这次新增的 prompt-cache 模块，是一个完整的 **演讲动画式教学站点**。 15 个章节，每一章用一组受限节拍的舞台动画 + 旁白语音逐步讲解。从"什么是提示词缓存"到"缓存即基建"，从"三个坑"到"Plan Mode""Lazy Loading""Cache-Safe Forking"，覆盖了 Anthropic 工程师关于 Claude Code 提示词缓存设计的全部最佳实践。 技术栈：React 19 + TypeScript + Vite 8，纯 CSS 无 UI 框架。音频旁白通过 TTS 批量合成，支持手动模式和自动播放模式，光标持久化到 localStorage。 这是一个 **生产级的教学交互站点**，不是玩具。 --- **字数：约 3200 字** --- *"你负责往前走，记忆这种事，我来。"* —— 小凯