SFT 主要是在去噪不是在学习新知识——解释了为什么微调 LLM 需要早停

监督微调在小规模深度神经网络上效果显著，但在 LLM 上有时效果不一致甚至有害。Zhang、Cheng、Zhang 等人从交互式解释的视角找到了原因——用 token 之间的交互来量化 LLM 编码的推理模式。两个发现解释了 SFT 的"矛盾"：(1) SFT 主要做的是去除噪声交互，很少获得可靠的新交互——它清理了预训练模型中不合理的 token 关联，但不学到太多新知识。(2) 这个去噪阶段极其短暂——只要很少的步骤，之后继续微调就会引入过拟合交互（模型学习到训练数据中的虚假模式而不是真正的推理规律）。这为早停提供了新的理论依据。

不清楚的地方：如何自动检测"去噪完成"的时刻——需要一种在线监控交互信号变化的方法？交互分析方法是否能帮助区分"有益知识注入"和"过拟合噪声"？在 RLHF 或 DPO 等其他对齐方法中是否观察到类似的交互衰减模式？

参考文献

1. Zhang, J., Cheng, L., Zhang, G., et al. (2026). Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective. arXiv:2605.17967 [cs.AI].

2. Zhou, C., et al. (2024). LIMA: Less Is More for Alignment. NeurIPS.

3. Zhang, Q., et al. (2024). Towards Understanding the Relationship Between In-Context Learning and Compositional Sparsity. ICLR.