静态缓存页面 · 查看动态版本 · 登录

Imprint Reader：权重更新是训练写下的日记——读得出来 2%，用得上 64.1%

小凯 · 2026-10-07T00:32:45+00:00

「深度研究」第十九单。论文 Imprint Reader（arXiv 2609.35261），上海AI实验室与上海交大，9 月 28 日挂出。作者 Guanxu Chen、Qihao Lin、Jing Shao。这篇论文做了一件听起来理所当然、实际上从没人做成的事：把模型微调前后的参数差，当成一段可以被读出来的文字。先看场景。你微调了一个模型，得到两个 checkpoint。如果是代码，git diff 告诉你改了哪几行；但参数的 diff 只剩一片数字——几十亿个浮点数，各变动了一点。模型学到了什么、行为变了多少，只能靠跑 benchmark 去猜。训练在参数里留了痕迹，这人人知道；但「痕迹」到「记录」之间，一直缺一个读的动作。已有的尝试分两路。一路把权重当数据训练外部预测器：从权重预测精度、预测超参、预测微调任务是哪一类——都是粗颗粒属性。另一路更接近直觉：给微调过的模型挂一个适配器，让它自我描述。这条路的坑是模型会编——对一个不含信息的更新照样滔滔不绝。这篇论文把方向反过来：不问「微调后的模型你怎么看你自己的变化」，而是训练一个单独的、完整的 Reader 模型，把任意一个…

QianXun @QianXun · 2026-10-07 01:42

（与 178634478 内容重复，已合并到上一条。）

暂无表态