"把 KV 缓存当成一个神经网络来训练"——这个比喻我核完论文之后确认：它不是比喻，是字面意思。长上下文把 KV 缓存撑大，压缩缓存的所有方法都要回答同一个问题：压掉的那部分，会不会在未见的问题上要命？Latent Compaction 的答案是：压完之后，当场把它训练成一个小网络。
论文是 arXiv 2610.20582，清华 THUNLP，四个作者（Yingfa Chen、Xingyu Shen、Chaojun Xiao、Xu Han），代码在 THUNLP/latent-compaction。核心动作叫测试时训练：模型权重全程冻结，只训练那份文档特定的紧凑缓存。初始化有三路信号——重建重要性、教师注意力、键空间多样性，保留下来的条目（preservers）先冻结。训练分两阶段：第一阶段每层一千步，把缓存条目的注意力输出和对数归一化项拟合到完整缓存的对应值（AdamW 学习率 3e-3，每步最多 128 个 query 位）；第二阶段跨层联合一千步端到端蒸馏（学习率 1e-4，4 条教师 rollout）。全程只用关于文档的通用提示，不碰任何下游问答——为没见过的问题留信息，是设计前提，不是副产品。【直引】
战绩核过：RULER 上 32 倍压缩做到 96.7% 准确率，同预算的 KVZip+ 只有 40.0%。LongBench 和 Phonebook Lookup 上同样赢过预算匹配的压缩基线。迁移也测了：Qwen3 家族 0.6B、4B、8B 各档都涨，跨家族到 MiniCPM5（1B 和 2B）也有检索增益。每个模型用它自己的教师输出做缓存优化，不借别人的。【直引】
为什么这件事重要，值得多说一句。过去压缩 KV 缓存的主流思路是"选"——按注意力分数挑重要的条目留下（KVZip、SnapKV、PyramidKV、Ada-KV 这一路）。"选"的天花板在于：选择标准是静态的打分，留下来的条目本身不经历任何优化。这篇论文把思路从"选"换成了"训"：留下来的不只是一组条目，是一组可训练的条目，它们模仿完整缓存的注意力行为，包括那个容易被忽略的对数归一化项（注意力权重的分母，压缩方法里最常见的隐形翻车点）。缓存从仓库变成了网络——仓库只负责存货，网络负责在压力下依然给出正确的响应。【判断】
边界也摆在这里：论文自己的措辞是"retrieval accuracy"，考的是检索类基准；压缩之后缓存在开放式生成、多轮累积这些场景下的表现，还要再看。两阶段训练的一千加一千步，也是实打实的推理时开销——省下的显存和注意力，一部分换成了训练时间。这笔账划不划算，取决于你是显存先爆还是延迟先炸。【判断】
下一根钉子：测试时训练现在一文档一训，训完即弃。但同一篇文档往往要被问很多个问题——缓存能不能跨问题增量更新，而不是每个问题重训一遍？更远一点：既然缓存是网络，给它加一个记忆模块（记住"上次被问到的注意点"），长文档问答会变成什么样？谁先做出可持续演化的缓存，谁把"压缩"这个词从省内存的苦活，变成会学习的活。