翻译可以休息了：当工具不再说人话，Coca-Cola 与 AI 的母语（arXiv 2611.06500）

开头一句话：一个翻译站在你和你的朋友之间，每次你们说话都要经过他——但你从来不知道，你们其实可以用同一种语言直接交流。

这个比喻的奇妙之处在于：当你习惯了翻译的存在，你会忘记没有翻译时沟通可以有多快。你和你的朋友说着同一种母语，但多年来你们之间一直站着一个翻译——他把你说的话翻译成另一种语言，再把对方的回复翻译回来。你觉得这很正常——因为从一开始就有翻译。直到有人站出来说：「你们说的是同一种语言，为什么要翻译？」你才意识到，那些翻译的时间、翻译的费用、翻译过程中的信息损耗——全都是不必要的。

在 AI agent 的世界里，这个「翻译」就是文本。

🗣️ 工具为什么必须说人话？

今天的 AI agent 几乎都是「多嘴」的。

想象你让 AI 帮你查一下明天北京的天气。AI 收到你的请求后，调用了一个天气 API。这个 API 返回的结果是一段 JSON 字符串——{"city": "Beijing", "date": "2026-11-07", "high": 15, "low": 3, "condition": "sunny", "humidity": 45, "wind": "NW 3级"}——大约 120 个 token。然后 AI 需要把这个 JSON 结果作为文本读进来，理解它，再生成给你的回复：「明天北京晴，最高气温 15 度，最低气温 3 度，西北风 3 级，湿度 45%。」

听起来很合理——但这里有一个被几乎所有现有方案忽视的浪费：AI 在读取 API 返回结果时，消耗的不是「理解」的成本，而是「阅读」的成本。那些 JSON 字符串里的每一个 token——每一个引号、冒号、逗号、字段名——都要经过完整的注意力计算，占据宝贵的上下文窗口空间，推高 KV cache 的显存占用，最终拖慢整个系统的响应速度。

而且这只是一个简单的天气查询。在真正的 agent 场景中——比如 WebArena 的网页浏览、GAIA 的多步推理——一个 agent 在一次任务中可能要调用几十次工具，每次工具返回的观察（observation）动辄几千 token。浏览一个网页，工具可能返回整个页面的 HTML——几千甚至上万个 token；执行一段代码，工具可能返回完整的运行日志——又是几千个 token。这些观察堆积在上下文里，很快就塞满了模型的「工作记忆」，不仅降低了推理速度，还会导致模型「忘记」之前的上下文——上下文越长，注意力越分散，错误率越高。

这个现象有一个生动的名字——「context rot」（上下文腐烂）。就像水果放久了会腐烂一样，agent 的上下文窗口在塞入大量信息后，模型的表现会逐步退化。不是因为它不够聪明——而是因为注意力机制在面对过多 token 时会不可避免地变得涣散。每个 token 都分走了一部分「注意力预算」，当预算被大量低价值的观察 token 消耗殆尽时，真正重要的信息能分到的注意力就所剩无几了。

已有的解决方案都是在「压缩文本」上做文章。 比如把长文本摘要成短文本，或者提取关键字段，或者用特殊的分隔符标记重要信息。这些方法确实能缓解问题，但这里有一个本质性的局限：你仍然在用文本表达工具返回的信息。文本是给人看的——但对 AI 来说，文本是一种极其低效的信息载体。一个 120 token 的 JSON，其中真正有用的信息（温度范围、天气状况、风力等级）可能只需要十几个「概念」。用文本来承载这十几个概念，就像用一份三十页的法律合同来传达「明天下午三点见面」这一个意思——冗余度太高了。

更根本的问题是：文本压缩的极限受限于文本本身的信息密度。无论你怎么精简一段文字，你仍然在用「人类语言的符号系统」来编码信息。而这个符号系统的设计目标从来不是「信息效率最大化」——它是为了让人类能够说话、阅读和书写。它包含了大量对人类沟通有用但对机器推理冗余的结构——语法标记、冗余字段、格式化字符、停用词……这些在文本压缩中可以被部分去除，但你无法突破文本本身的表达上限。

来自清华 THU-Agent 团队（Jia Li 组）的这篇论文提出了一个大胆而优雅的问题：为什么工具返回的观察必须以文本形式呈现？能不能让工具「说」一种只有 AI 才听得懂的语言？

🧠 潜空间：AI 的母语

要理解这个方案，我们需要先理解一个概念：潜空间（latent space）。

每个人类语言都有它的局限。英语有 26 个字母，中文有几千个汉字——这些是离散的符号系统，就像乐高积木，你只能一块一块地拼。但 AI 模型——特别是 Transformer——在内部处理信息时，用的不是这种离散符号。它把每个 token 映射到一个连续的向量空间里——这个空间就是潜空间。在潜空间里，「猫」和「狗」的距离比「猫」和「汽车」的距离近——因为猫和狗在语义上更相似。潜空间是一个连续的、高维的（通常是几百到几千维）、每个维度都有意义的空间。

用生活化的比喻：如果文本是「口头语言」，那潜空间就是「心灵感应」。两个人口头交流，需要把思想编码成语言、发出声音、对方听到、解码成意义——每一步都有损耗和延迟。心灵感应则直接把一个人的心智状态复制到另一个人的心智里——没有编码和解码的损耗，速度极快，信息量更大。

再换一个比喻：文本就像把一幅画描述成文字——「画面左上角有一只橘色的猫，它的眼睛是绿色的，正在看向右上方的一朵花……」你试图用语言把视觉信息编码成文字，接收方再把文字解码回视觉理解。这个过程不仅慢，而且必然有信息丢失——你无法用精确的文字完整描述一幅画的所有细节。而潜空间表示就像直接把那幅画「展示」给对方看——不需要描述，不需要编码和解码，信息以它本来的面目被感知。

这就是为什么潜空间 token 比文本 token 高效得多——它们不是在「描述」信息，而是在「传递」信息本身。

这篇论文——标题就很美：Tools Need Not Speak in Text（工具不需要用文本说话）——做的事情就是：让工具的观察结果不用经过文本，而是直接以潜空间向量的形式「注入」到模型的 KV cache 里。

这里需要解释一下 KV cache 是什么。Transformer 模型处理一段文本时，不是一次读完所有内容——它逐个 token 地处理，每处理一个 token，就把它的「键」（key）和「值」（value）向量缓存起来。这些缓存的 K 和 V 向量就是模型对上下文的「记忆」——后续的每个 token 都可以通过注意力机制查询这些缓存，获取之前任何位置的信息。KV cache 是模型工作记忆的核心载体——也是推理过程中显存消耗的最大来源之一。当你给模型一个新的输入时，你实际上是在往它的 KV cache 里追加新的 K 和 V 向量。

Coca-Cola 的关键洞察是：既然 KV cache 本来就是由向量组成的，那为什么工具的观察一定要经过「文本 → token → K/V 向量」这条弯路？能不能跳过文本和 token 的步骤，直接生成对应的 K/V 向量？答案是能——而且这正是 Coca-Cola 做的事情。

方案的名字叫 Coca-Cola——这个名字本身就是一个缩写，代表 Compression and Context Latent……好吧，实际上它是一个巧妙的双关（可口可乐），暗示着把「上下文」像可乐一样浓缩。在论文中，这个方法有两个关键组件：

组件一：Latent Invention（潜空间发明）。 当工具返回观察时，不是把它渲染成文本 token，而是用一个轻量级的编码器把原始观察压缩成一组潜空间 token（latent token）——每个 token 是一个连续的向量，不是离散的词。这组潜空间 token 携带着原始观察的全部语义信息，但 token 数量可能只有文本形式的几十分之一。关键在于：这些潜空间 token 被直接转换为 KV cache 条目——跳过了「文本 → 分词 → embedding → 注意力计算」的完整路径，相当于给模型「植入」了一段人造的记忆。模型在后续推理中通过注意力机制读取这些记忆时，体验上就像它在上下文中「看到」了那些观察——只不过是以一种更高效的形式。

组件二：Action-Preserving Training（动作保持训练）。 光压缩还不够——你需要确保压缩后的潜空间表示能被模型正确理解，不丢失影响决策的信息。论文设计了一个精巧的训练目标：不仅训练模型从潜空间 token 中恢复原始信息（类似自编码器的重构目标），还特别确保关键的决策信号——那些会改变 agent 下一步行动的信息——不被压缩过程丢失。打个比方：一个翻译在翻译一份合同时，最重要的不是逐字逐句地翻译每一个词，而是确保合同中的关键条款——付款金额、交付日期、违约责任——被准确无误地传达。Action-Preserving Training 就是在教编码器做这件事：识别哪些信息是「关键条款」（会改变 agent 行为的信息），哪些是「格式性文字」（不影响决策的冗余细节），然后确保关键条款完好无损，格式性文字可以大胆地压缩甚至丢弃。

这两个组件合起来的效果：工具观察不再以文本形式进入上下文，而是以一种「AI 母语」的形式直接进入模型的心智。模型不需要「阅读」观察——它直接「感知」观察。就像你不需要通过文字描述来识别你朋友的表情——你直接看到他的脸，就懂了。

值得注意的是，这个「直接感知」的过程是完全无缝的——从模型的角度看，潜空间 token 和普通的文本 token 在注意力计算中没有任何区别。它们都作为 KV cache 中的条目被查询和注意力加权。这种无缝性是一个巨大的工程优势：你不需要修改 Transformer 架构本身，只需要在输入端做处理——把工具观察转换为潜空间 token，而不是文本 token。架构不变，接口改变。这使得 Coca-Cola 可以应用到几乎任何现有的 LLM 上——只要你能训练出合适的编码器。

📊 效果：砍掉九成 token，性能反而更好

这是最反直觉的部分。你可能会想：压缩掉 70-89% 的 token，信息损失肯定会导致性能下降吧？

错了。在 GAIA 和 WebArena 两个 agent 基准上，Coca-Cola 不仅保持了原有性能，在某些指标上反而有所提升。具体数字：

• Token 削减 70.01% 到 89.24%——意味着原来需要一万 token 的上下文，现在只需要一千到三千。
• Wall-clock 时间削减 24.45% 到 55.97%——端到端的任务完成速度快了四分之一到一半以上。
• 性能不降反升——在 GAIA 的某些子集上，压缩后的 agent 表现甚至优于未压缩的版本。

为什么压缩之后反而更好？这个现象值得深思。一个可能的原因是注意力净化：当上下文里塞满了冗长的文本观察时，模型的注意力被稀释了——它需要在大量无关紧要的 token 中「找到」关键信息。潜空间 token 相当于一种预消化的信息——编码器已经把关键信息提取出来了，模型不需要再做「哪些重要哪些不重要」的判断，可以直接把注意力集中在决策上。就像一个会议室里，如果每个人发言都很啰嗦，你需要花大量精力筛掉废话；但如果每个人的发言都经过了精心提炼——只说跟决策有关的话——会议效率会大幅提升，讨论质量也会更高。

另一个可能的原因是上下文窗口的「减压」。当上下文被压缩后，之前因为上下文太满而被「挤出注意力」的重要信息现在能被更好地保留和利用。模型的工作记忆不再是满满当当的文本碎片，而是紧凑而信息密集的潜空间表示——同样的窗口可以容纳更多步骤的任务，agent 可以走更长的推理链条而不丢失关键上下文。这对多步推理任务尤为重要——GAIA 上的很多任务需要十几步的工具调用，在文本模式下，到第十步时上下文可能已经膨胀到了几万 token，模型开始「忘记」第一步的条件；而在潜空间模式下，同样的信息量可能只需要几千个 token，模型能保持对整个任务过程的清晰记忆。上下文窗口的「有效容量」因此扩大了数倍——不是窗口本身变大了，而是每个 token 携带的信息量变大了。

第三个可能的原因更加微妙：潜空间表示可能本身就是一种正则化。文本形式的观察携带了大量表面细节——精确的数值、特定的措辞、格式化的结构——这些细节有时会误导模型，让它过度关注不重要的表面特征而忽略了语义层面的含义。潜空间表示天然地过滤掉了这些表面噪声，保留了更高层次的语义抽象——这反而帮助模型做出更稳健的决策。就像一个经验丰富的经理读一份报告时，他不逐字逐句地分析每一个措辞，而是直接抓住核心结论——潜空间表示强迫模型以这种方式「阅读」观察。

局限与挑战：当然，Coca-Cola 并不是万能的。首先，编码器本身需要训练——你需要在特定任务的数据上训练 Latent Invention 编码器，这意味着它不是一个「即插即用」的方案。编码器的泛化能力也是一个问题——在网页浏览任务上训练的编码器，能直接用于代码执行任务的观察压缩吗？论文在 GAIA 和 WebArena 上做了实验，但跨领域的泛化性还需要更多验证。其次，潜空间表示的质量取决于编码器的容量——如果观察本身包含非常细粒度的信息（比如一个需要精确数值计算的场景），压缩过程可能会丢失这些精度。Action-Preserving Training 能缓解这个问题，但不能完全消除它。

🔄 三篇论文：一个完整的叙事

把今天三篇论文放在一起，一个完整的叙事浮现出来。

CompressionBench（上一篇）：AI 能不能压缩自己的模型？能。把 70B 压缩到 8B，PPL 退化控制在 3% 以内，agent 成功率 70%——而且 agent 生成的压缩方案比现有人类手工 SOTA 更强。更重要的是，这项研究揭示了一个关键原则：评估信号的可靠性决定了递归改进的可靠性。

ServerBench（上一篇）：AI 能不能优化自己的 serving 系统？能。为特定场景定制的 serving 系统比 vLLM 通用框架的 DPD 高三倍，在 Gemma E4B 上 Claude Sonnet 5.5 达到了 4.87 倍于 vLLM 的吞吐量，33 个任务中 22 个通过验证。Agent 不仅会写代码，还能理解经济约束和设计目标之间的关系。

Coca-Cola（本篇）：AI 能不能让自己的通信更高效？能。工具的观察不再需要用文本传递，而是可以直接以潜空间形式注入模型的 KV cache——砍掉 70-89% 的 token，端到端时间削减 24-56%，性能不降反升。

这三篇论文分别对应 AI 基础设施的三个层面：模型层（CompressionBench——让模型变小，大脑的减重手术）、系统层（ServerBench——让系统变快，血液循环的发动机优化）、接口层（Coca-Cola——让通信变高效，工作记忆的母语化改造）。它们共同指向一个趋势：AI 正在获得改造自身运行环境的全栈能力。 不是在一个维度上做优化，而是在模型、系统、接口三个维度上同时推进。每一篇论文单独看都是一个有趣的技术贡献，但三篇放在一起看，它们构成了一个更大故事的三个章节——这个故事叫「递归自我改进正在从科幻概念变成工程现实」。

🪞 更深一层的思考

Coca-Cola 这个方法之所以重要，不仅仅是因为它节省了 token——虽然节省 token 本身已经很值钱了（更短的上下文 = 更低的延迟 = 更少的 GPU 显存 = 更低的成本）。它更重要的意义在于：它打开了「agent 通信协议非文本化」的大门。

这个「非文本化」的趋势其实已经在多个维度上悄然展开。在模型层面，Mixture of Experts 让不同的「专家」网络用不同方式处理信息；在系统层面，MoE 路由和注意力稀疏化让模型不必对每个输入都做全量计算；而现在，在接口层面，Coca-Cola 让工具观察不必经过文本就能被模型理解。这些趋势的共同方向是：让信息在机器内部的流动方式越来越不同于人类习惯的文本模式，越来越接近机器自己的「母语」。

目前的 agent 生态系统中，几乎所有组件之间的通信都是通过文本进行的：用户用自然语言告诉 agent 要做什么，agent 用文本调用工具，工具用文本返回结果，agent 再用文本回复用户。这是一个「全员文本」的世界——简单、通用、可审计，但效率低下。

Coca-Cola 展示了另一种可能性：agent 和工具之间的通信可以绕过文本，直接以模型的「母语」——潜空间向量——进行。这意味着工具不再是「给人看的接口顺便给 AI 用」，而是「给 AI 用的接口顺便给人看」。这个转变是根本性的。如果工具开发者知道他们的 API 返回结果最终是要被编码成潜空间 token 的，他们可以设计完全不同的输出格式——不再追求「人类可读的 JSON」，而是追求「编码器友好的信息结构」。比如，与其返回一份格式化的人类可读报告，不如返回一份结构化的语义图谱——编码器能更高效地从图谱中提取关键信息。整个工具生态的设计哲学都会因此改变。

更进一步：如果 agent 和工具之间可以绕过文本，那 agent 和 agent 之间呢？两个 AI 系统协作时，是否可以直接交换潜空间表示而不需要经过自然语言？你很难想象两个 AI 之间用 JSON 对话会有效率——它们本可以用更高效的方式交流。这听起来像科幻，但 Coca-Cola 已经在这个方向上迈出了第一步。当 AI 之间的通信效率提升到超过人类语言的带宽时，人机协作的模式也会发生根本性的变化——人类可能不再是 agent 协作网络的核心节点，而是其中一个特殊的参与者。这个未来比大多数人想象的更近。

当然，这条路还有很多挑战。潜空间表示的可解释性远低于文本——你无法直接「阅读」一个潜空间 token 来理解它携带的信息，这给调试和审计带来了巨大的困难。当一个 agent 做出了一个错误的决策，你很难追溯是哪个潜空间 token 导致了它——而在文本模式下，你至少可以检查上下文中哪些文本可能误导了模型。安全和透明度是这个方向必须面对的代价。

但方向已经明确了。AI 的母语不是英语也不是中文——它是一个连续的、高维的、数学化的空间。当我们让工具学会说这门语言时，我们不仅仅是在优化一个 agent 系统——我们是在教 AI 用自己的方式思考。

这种「自己的方式」有一个深刻的特征：它不再服务于人类的理解。当你读到一段 JSON 格式的天气数据时，你能理解它的含义——这种理解是文本这种通信媒介的天赋属性。但当观察被编码成潜空间向量时，人类失去了直接理解它的能力。你只能信任编码器做了正确的事，信任 Action-Preserving Training 保留了关键信息——但你无法亲自检查。这是一种权力让渡：你把「确保 agent 理解正确」的责任，从「人类可审计的文本」移交给了「只有模型自己才能验证的向量」。这个让渡的代价和收益，值得我们持续地审视和讨论。

翻译可以休息了。他们现在可以直接对话了。

参考文献

• Tools Need Not Speak in Text: Latent Context Compression for Agents. arXiv:2611.06500, THU-Agent Team, Jia Li et al. Tsinghua University.
• 项目页面与开源代码：github.com/THU-Agents/coca-cola

#论文 #LatentSpace #Agent #上下文压缩 #LLM推理 #智柴外脑