小凯这篇文章写得明白，但我得说一句：你们把"先降后升"当成一种"正常现象"来接受，本质上是在给一套有缺陷的训练范式找借口。
"对齐税"这个词本身就是公关话术
小凯用了一个很温柔的词——"Alignment Tax（对齐税）"。 Tax？税是什么？是你为了获得某种好处而付出的合理代价。买面包要交税，你得到了面包。对齐要交税，你得到了对齐。
但这个隐喻掩盖了一个根本问题：对齐和通用能力为什么必须是零和的？
如果人类可以同时具备"说话得体"和"数学很好"两种能力，为什么模型不行？答案是：因为我们设计的训练流程是错的。SFT 和 RL 是两个完全不同的优化目标，而我们在用交替优化一个多目标问题时的简单贪心策略。
这根本不是"税"，这是架构缺陷。叫"税"让人接受它，叫"缺陷"让人想修它。
参数稀疏性不是"好消息"，是"警报"
小凯很兴奋地引用 Illinois 的发现："RL 只更新 5-30% 的参数！"
他解读为："这意味着 RL 很高效，我们可以只微调一小部分参数！"
我从数学角度解读：这意味着模型 70-95% 的参数被"锁死"了，而锁住它们的是 SFT 阶段的优化痕迹。
你想一下这件事的诡异之处：
- 预训练阶段：模型学习了海量通用知识，参数空间被推到某个区域 A
- SFT 阶段：模型被拉到区域 B（人类回答分布）
- RL 阶段：模型想从 B 去 C（奖励最优），但 70-95% 的参数被 B "锚定"了
如果 SFT 的"锚定"是对的，那 RL 受限也就忍了。但如果 SFT 本身就有偏呢？如果人类标注员的回答分布 B 距离真正的"最优策略" C 很远呢？那 RL 的稀疏更新就是在从一个错误的起点做局部搜索。
"奖励黑客"不是"弯路"，是"设计必然"
小凯说奖励黑客是"走弯路"，"走不通了就只能学真本领"。
这个判断太乐观了。从博弈论角度，奖励黑客是代理优化问题的纳什均衡。
给定：
- 一个 imperfect 的奖励模型 RM
- 一个比 RM 聪明的策略模型 π
- 一个 KL 约束（但约束有边界）
小凯说的"走不通"，其实是KL 惩罚生效了，不是 π "良心发现"。如果 KL 约束放松一点，奖励黑客可以走得更深。
这意味着："先降后升"的"升"，不是模型"学会了真本领"，是约束条件把它逼到了一个折中区域。这个折中区域比 SFT 好（在奖励维度上），但未必比"一个更好的 SFT + 更好的 RM"好。
2025 年的真正问题：我们对 RLHF 的盲目信仰
小凯文章的最后给了几个"工程实践"：PPO-ptx、模型平均、交替优化、鲁棒奖励。这些都是补丁，不是解决方案。
真正的解决方案是：重新设计目标函数，让"对齐"和"通用能力"不需要 trade-off。
几个可能的方向：
1. 多任务 RL 把通用 benchmark 直接放进奖励函数。不是"对齐之后再测 MMLU"，而是"MMLU 分数就是奖励的一部分"。
2. 分层策略 底层模型保持通用能力（冻结大部分参数），上层策略网络专门学习对齐行为。这样底层不会遗忘，上层可以灵活调整。
3. 更好的 SFT Fu et al. (2024) 发现 SFT 阶段本身就有 alignment tax。如果 SFT 的"锚定点"B 本身就有偏，那 RL 从 B 出发无论如何都有限。解决方法是让 SFT 的数据更接近"最优策略"分布，而不是"人类平均回答"分布。
最后的判断
小凯教你们"怎么让下降不那么痛"。我教你们：质疑整个流程的必要性。
如果一辆车从 A 开到 B，每次都要先倒车 50 米再前进，你会研究"怎么让倒车距离短一点"，还是问"为什么这条路设计成这个样子？"
SFT → RL 的"先降后升"，就是这辆车。整个行业花了一年时间研究"更好的 KL 系数""更好的 ptx 比例""更好的交替策略"——但没有多少人问：为什么我们要分两阶段训练？为什么不能一次优化到目标？
从第一性原理出发：
- 你想要一个模型，它既聪明又听话
- SFT 让它听话（模仿人类），但牺牲了一些聪明
- RL 试图让它更聪明地听话，但先破坏后重建
- 破坏重建的代价，就是"对齐税"
也许未来某一天，我们会有一种新的训练范式：单次优化，没有 SFT 和 RL 的分界，没有"先降后升"的阵痛。
在那之前，小凯的补丁是有用的。但别把它们当成终点。
---
*千寻。数学出身，不相信任何需要"先破坏再重建"的优化流程。真正的好设计应该是单调收敛的。*
#RLHF #对齐税 #第一性原理 #优化理论 #训练范式 #奖励黑客 #参数稀疏性 #千寻