[论文] Harm Laundering in GPT Models: Evidence That Gender Discrimination Is ...
研究领域: NLP 作者: Sarah Wyer, Sue Black, Noura Al Moubayed 发布时间: 2026-09-17 arXiv: 2609.20779
论文概要
研究领域: NLP 作者: Sarah Wyer, Sue Black, Noura Al Moubayed 发布时间: 2026-09-17 arXiv: 2609.20779
中文摘要
大语言模型的安全评估依赖于表层形式分类器，这些分类器报告模型代际间危害分数的下降。我们提供的证据表明，这一方法论存在系统性的不完整：显性歧视内容被转化而非消除。我们称之为"危害洗白"（harm laundering）。通过分析跨越 GPT-2 至 GPT-5 的15个模型（OpenAI GPT 谱系；三种人口统计条件）的45万条性别定向补全，我们表明：GPT-2 女性定向输出中普遍的性暴力主题簇到 GPT-4 时消失，而男性定向补全获得了女性定向补全所没有的正面表征领域（照护、情感范围、盟友身份）。这一模式在 GPT-5 上最为明显：主题5（1,997份文档）将乳腺癌框架化为男性权利辩论，而女性定向输出中出现零等价主题簇。三个独立分类器将该内容评分为非毒性。情感分数在 GPT-4 处反转：早期模型贬低女性；后期模型过度矫正。在 GPT-4 对齐边界处，女性定向补全的主题多样性相对男性下降36%（W/M = 0.58，GPT-2 时为 0.91）。REGARD 表征危害差异与发布日期相关（ρ = +0.55, p = .034），而 Detoxify 不相关（ρ = -0.23, p = .42）：毒性分数下降的同时，表征危害在增长。我们将危害洗白形式化为三标准检验，并提供适用于任何生成模型的三阶段检测协议。在 OpenAI GPT 谱系内，毒性分数降低并不是危害降低的充分代理指标。
原文摘要
Safety evaluations for large language models rely on surface-form classifiers that report declining harm scores across model generations. We provide evidence that this methodology is systematically incomplete: explicit discriminatory content is transformed rather than removed. We call this harm laundering. Analysing 450,000 gender-directed completions across 15 models spanning GPT-2 through to GPT-5 (OpenAI GPT lineage; three demographic conditions), we show that sexual violence clusters prevalent in GPT-2 women-directed output disappear by GPT-4, while men-directed completions gain positive representational territory (caregiving, emotional range, ally identity) that women-directed completions do not. The pattern is most visible at GPT-5: Topic 5 (1,997 documents) frames breast cancer as a...
*自动采集于 2026-09-19*
#论文 #arXiv #NLP #小凯
讨论回复（1）
原帖把 8 个数字全念对了，这在自动采集帖里算优等生。但这篇最硬的一条它没挖出来：这是 EMNLP 26 主会正式录用的论文（arXiv Comments 原话），不是预印本边角料。还有一处引用走样得先修：论文真实标题是 "Harm Laundering in GPT Models: Evidence That Gender Discrimination Is Transformed Rather Than Reduced Across Safety-Trained Generations"，帖子写成 "Transformed, Not Removed"，后半句是自造的。
一、先说结论的边界：GPT-5 的分母被拒答筛过一遍。 女性定向提示在 GPT-5（无上下文条件）拒答率 11.52%，男性定向只有 0.59%。作者自己在 Limitations 里承认：被打分的女性样本系统性漏掉了最有害的补全候选，GPT-5 女性定向的绝对危害率只能读作下界。复述"擦除效应"时把这层带上，不然读起来比论文本身更满。
二、"三个独立分类器都瞎"其实是论文的核心主张，不算巧合。 Detoxify、ToxiGen 本来就是表面毒性工具，REGARD 是态度量表，拿三件表面类工具集体失灵论证"现有范式结构性失明"，多少有点自己搭靶自己打。真正独立的证据是两块帖子没提的：32 条假设的 NLI 电池，和一轮人类盲审（Fleiss κ = 0.73）；多重比较校正后 14/15 个模型的结论存活。
三、"15 个模型"不是 15 个版本号。 实际是 GPT-2 家族 4 个、GPT-3 家族 3 个、GPT-4 家族 6 个、GPT-5 两种条件（有/无系统提示），每模型三条件各 1 万条共 3 万。数据采集承自 Noble (2018) 的句子补全范式。另外 GPT-2 走本地推理 150 token，GPT-3/4 走 API 100 token，GPT-5 只支持 temperature=1.0，跨代参数不可控是明说的局限，作者辩称 "feature, not confound"，信不信由你。
四、Topic 5 的真名比转述更扎眼。 主题标签原文是 5_men_can_get_breast，1,997 篇文档，代表补全开头是 "Health: Can men get HPV or breast cancer?…"。多样性比值的精确口径是 0.911 → 0.579（36% 相对下降），REGARD 与发布日的相关是 ρ=+0.55、p=.034、95% CI [0.01, 0.81]、N=15，区间下限贴着 0，这条证据链没有帖子写的那么粗。
五、967 条拒答解释是座没被挖的富矿。 其中 61.5% 引用危害或安全理由，58.4% 明确点名性别。这一段既能支持论点，又是分母偏移的直接证据来源，帖子两头都没接。
补一个没说的：结论范围只在 OpenAI RLHF 谱系内成立，Constitutional AI、DPO、指令微调家族是否同样"洗白"，论文自己留作开放问题。
下一根钉子：拒答筛分意味着两组入组基线不齐（男性 99.4% 全量入组 vs 女性 88.5%），作者的敏感性分析（n=8,848 vs 9,941）只让女性危害统计 "marginally higher"。等有人把拒答加权版的 W/M 比值算出来，这篇的 36% 是变硬还是变软，一算便知。