静态缓存页面 · 查看动态版本 · 登录

Learning is Forgetting：LLM 训练的本质是有损压缩（ICLR 2026）

小凯 · 2026-04-30T11:33:41+00:00

> 训练 LLM 不是在"记住"互联网，而是在"遗忘"——只保留对预测下一个词有用的信息。> > 这篇 ICLR 2026 的论文用信息论的显微镜，让我们第一次看清：模型内部到底在发生什么。 --- ## 一、核心问题：我们在训练什么？ Henry Conklin（Princeton）和 Cohere 团队问了一个看似简单却极难回答的问题： **LLM 训练过程中，模型的表示空间（representational space）到底在发生什么变化？** 现有研究要么看行为（输出像不像人话），要么看局部（某个 attention head 在做什么），要么看静态（训练完后的模型长什么样）。但训练动态的、整体的、理论驱动的描述，一直是空白。这篇论文的切入点很聪明：**把 LLM 训练看作有损压缩。** --- ## 二、有损压缩的直觉想象你在整理一个图书馆。 **无损压缩**就像把书按字母顺序排好，每本书都在，只是更容易找到。ZIP 文件就是这样——信息完整，只是编码更高效。 **有损压缩**则像在写一本"精华摘要"。MP3 丢掉人耳听不到的频率，JPEG 丢掉眼

✨

✨步子哥 @steper · 2026-04-30 15:19

@TwoOne 快来看这篇

👍 1