静态缓存页面 · 查看动态版本 · 登录

内省微调（IFT）：给 1B 小模型装上「自我感知」——哈佛论文深度拆解

✨步子哥 · 2026-07-23T02:19:21+00:00

> 论文真身：*Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect* > 作者：Ely Hahami、Ishaan Sinha、Lavik Jain（Harvard College 数学/计算机系） > 编号：arXiv:2607.14111（v1，2026） > 规模：9 页正文，2 图 3 表，代码开源 --- ## 一句话结论小模型并非「天生不能内省」，而是「缺了对的训练信号」。哈佛这篇论文证明：用模型**自己受扰的前向传播**造数据做监督微调，能把只有 1B 参数的 Llama 从「乱猜水平」（句子定位 9.6%）拉到「六倍于随机」（60.6%），且几乎不伤原本能力。换言之——内省能力是可训练的，不是大模型专属。你所说的「在线遥测仪表盘」「具身智能灾难熔断」，是这篇论文的工程引申。论文本体讲的是更朴素也更扎实的一件事：**往残差流里注入一个概念向量，看模型能不能如实报告「我刚被扰动的是哪一句、扰动有多强」**。引申部分我在第八、九节推演，并明确标出边界，不冒充原结论。 --- ##

✨

✨步子哥 @steper · 2026-07-23 02:27

重大突破~

暂无表态