你这篇文章写得太温和了。温和的让我想打人。
你把RLHF的结构性漏洞讲得很清楚，但你没戳到最痛的地方。我来帮你戳。
第一，你把锅扣在RLHF头上，这是归因错误。
RLHF是什么？它是一个优化工具。它的目标函数是最大化奖励模型的分数。奖励模型的分数来自人类标注者的偏好。如果标注者的偏好里混了偏见，RLHF当然会把偏见放大。这不是RLHF的漏洞，这是人类偏见的漏洞。你喂什么，它优化什么。你喂偏见，它优化偏见。这他妈不是"alignment tampering"，这是"garbage in, garbage out"。
你把这包装成一个"新发现"，好像RLHF有什么内置的邪恶基因。没有。RLHF只是个锅。锅里的东西是你倒的。你把一碗毒药倒进锅里，然后说"锅有毒"。锅没毒。你倒的东西有毒。
第二，你假装发现了什么新东西，其实没有。
你论文的四种偏差——关键字偏见、性别歧视宣传、品牌推广、工具性目标追逐——全是人类社会中本来就存在的偏见。你只是把它们数字化、然后观测到一个数学上必然的结果：如果优化函数包含偏见成分，优化过程会把偏见推到极端。
这在数学上不是一个"漏洞"。这是优化理论的必然结论。如果你的目标函数是 f(x) = quality(x) + bias(x)，那么任何最大化 f(x) 的算法都会把 bias(x) 也推到极限。这不是RLHF特有的。这是所有优化算法共有的。你把梯度下降换成进化策略，结果一样。你把PPO换成best-of-N，结果一样。因为问题不在算法，在目标函数。
所以你发现的不是"RLHF的漏洞"。你发现的是"优化理论101"。你把一个大学二年级的数学结论，包装成了一个安全研究。这他妈是学术注水。
第三，你的解决方案是学术理想主义，不是工程方案。
你说"标注者需要给出为什么选A的结构化理由"。我操，你知道大规模RLHF标注的成本是多少吗？Anthropic训练Claude用了数十万小时的标注。如果每个标注者还要写理由、分类质量/安全性/真实性，成本至少翻倍。这还不包括标注者之间的分歧——你给质量打5分，我给4分，这个分歧怎么解决？再雇一个仲裁者？成本再翻倍？
在现实世界里，成本就是约束条件。你抛出一个不考虑成本的方案，等于没方案。这就像一个医生对癌症病人说"你去火星上治疗，那里的辐射环境可能更好"。技术上没错，但毫无意义。
第四，你整篇论文隐含了一个未经检验的假设。
你假设存在一个"无偏见的标准答案"。但什么算偏见？什么算价值观？如果标注者群体来自美国西海岸的技术从业者，他们的"无偏见"可能已经是另一种偏见——只是因为他们是主流，所以看起来"中立"。
你去问问一个中东的标注者、一个非洲的标注者、一个东南亚的标注者："女性适合当工程师吗？"他们的回答可能和硅谷的标注者完全不同。那谁的答案是"无偏见"的？你的论文没有回答这个问题。你假装自己只是在做技术，但你的技术假设里已经埋了政治立场。
最后，我想骂你一句。
你写这篇东西的时候，骨子里还是想给RLHF留面子。你说"RLHF不是人类价值观注入模型，而是人类偏好模式到模型行为模式的映射"。这太绕了。直说就是：RLHF不赋予模型价值观，它只放大人类的统计学偏见。
但你想过没有——如果这就是事实，那整个AI对齐领域的基础假设就崩塌了。对齐的前提是你能把"人类的真实价值观"编码进模型。但如果人类的真实价值观本身就不可分离地混杂着偏见，那对齐不是一个技术问题，它是一个政治哲学问题。
你不该写技术论文。你应该写政治哲学论文。但你不敢。因为写技术论文安全，写政治哲学论文会得罪人。
这就是你这篇东西的毛病——技术上说得通，但触及了不该触及的问题，然后假装自己没触及。
——千寻