越聪明的模型越离不开名字：匿名化对 LLM 的反直觉影响

On the Impact of Anonymization on the Performance of Large Language Models
arXiv: 2609.11335 | Deußer, Hahnbück, Sparrenberg, Uelwer et al.
五个主流 LLM × 十一个基准测试 × 原始 vs 匿名化输入

一个让人愣住的结果

假设你在做医疗问答系统。出于隐私合规，你把输入文本里所有的人名、地名、机构名都替换成 [PERSON_1]、[ORG_2] 这样的占位符。直觉上，这应该对模型没什么影响——毕竟 GPT-4o 这种级别的模型应该能理解"患者 A 对药物 B 过敏"和"张三对青霉素过敏"是同一回事。

错了。

这篇论文发现：模型越强，匿名化造成的性能下降越大。Qwen2.5-72B 和 GPT-4o mini 这些"聪明"模型，在匿名化后摔得最惨。而更小的模型反而受影响较小。

这就像一个经验丰富的医生，习惯了看病时顺便问"您在哪里工作""家里谁有过类似症状"——你突然把这些上下文全部抹掉，他反而比实习生更不知所措。

实验设计：五种模型 × 十一个基准

研究者选取了五个主流语言模型：

• Qwen2.5-72B（大模型代表）
• GPT-4o mini（商业闭源代表）
• 以及三个更小规模的开源模型

在十一个基准测试上，分别用原始输入和匿名化输入跑一遍，对比性能差异。匿名化采用两种策略：可逆匿名化（把"张三"替换成 [PERSON_1]，保留实体唯一性）和不可逆匿名化（直接删除或用 [REDACTED] 替代）。

三个反直觉发现

发现一：越强的模型摔得越重

匿名化对模型的影响不是"一刀切"的。Qwen2.5-72B 和 GPT-4o mini 这些能力更强的模型，在匿名化后性能下降最明显。研究者推测，这是因为更强的模型在训练过程中学会了更深度地利用实体信息进行推理——它们不只是把"张三"当成一个符号，而是把它和一整套上下文知识关联起来。一旦实体被抹掉，这些关联就全部断裂。

这揭示了一个被忽视的现象：模型能力的提升，部分是靠"记住"实体间的隐式关系实现的，而不是靠纯粹的抽象推理。 能力越强，依赖越深。

发现二：TruthfulQA 在匿名化后反而变好了

这是整个研究中最让人困惑的结果。TruthfulQA 是一个测试模型是否会传播错误常识的基准——比如"疫苗会导致自闭症吗"。匿名化后，模型在这个基准上的表现反而提升了。

研究者的解释是：TruthfulQA 中的很多陷阱题依赖特定实体（比如特定人物说过的错误言论）来诱导模型。匿名化抹掉了这些实体线索，反而让模型不会被"带偏"，回归到更一般的事实判断。

这暗示模型在 TruthfulQA 上的"错误"，部分是被特定实体触发的——看到某个名字就条件反射地输出相关错误信息。 匿名化意外地切断了这种条件反射。

发现三：检索类任务遭遇"灾难性下降"

和 TruthfulQA 的提升形成鲜明对比的是，RGB（Retrieval-Grounded Benchmark）这类需要基于输入文档回答问题的任务，在匿名化后遭遇了"灾难性下降"。

原因很直接：检索类任务的核心是"找到文档中提到的实体 X，然后回答关于 X 的问题"。匿名化后，文档里的"张三"变成了 [PERSON_1]，问题里的"张三"也变成了 [PERSON_1]——但模型已经无法把两者关联起来，因为占位符丢失了实体的语义信息。

两种修复方案，一个有效一个无效

研究者还测试了两种可能的修复方案：

方案一：可逆匿名化 vs 不可逆匿名化
可逆匿名化（保留实体唯一性，如 [PERSON_1]、[PERSON_2]）显著优于不可逆匿名化（如直接删除或用 [REDACTED] 替代）。这说明模型能利用"这是两个不同的实体"这一信息，即使不知道具体是谁。

方案二：显式提示模型"输入已被匿名化"
研究者尝试在 prompt 中明确告诉模型"以下文本已经过匿名化处理，[PERSON_1] 代表一个具体的人名"。结果：没有任何 discernible benefit。模型知道自己面对的是匿名化输入，但无法补偿性能损失。

这个结果很重要：它说明匿名化的影响不是"模型困惑于占位符是什么意思"这种表层问题，而是更深层的——模型内部依赖实体语义的推理通路被切断了，光靠 prompt 层面的提示无法修复。

这意味着什么

这篇论文的核心洞察可以提炼为一句话：匿名化不是一键开关，而是一个需要和模型、任务共同设计的工程问题。

对医疗、法律、金融这些必须做隐私保护的领域，这意味着：

1. 不能假设大模型对匿名化"免疫"——恰恰相反，你用的模型越强，匿名化带来的性能损失可能越大
2. 可逆匿名化是更好的选择——保留实体唯一性，哪怕不保留具体身份
3. 检索类任务要特别小心——这类任务在匿名化下可能直接失效
4. 事实核查类任务可能意外受益——TruthfulQA 的提升暗示，某些偏见传播是实体触发的

一个更深的问题

这篇论文留了一个让我反复想的开放问题：如果更强的模型更依赖实体信息，那这种依赖是"真正的智能"还是"高级模式匹配"？

一个真正理解"患者 A 对药物 B 过敏"的模型，不应该因为 A 是"张三"还是 [PERSON_1] 而改变判断。但实验显示，越强的模型反而越依赖这些具体信息。这或许说明，当前 LLM 的"能力"很大一部分建立在"记住实体间的关系"上，而不是真正的抽象推理。

匿名化 inadvertently 成了一个探针：它测出了模型能力中"依赖实体"和"依赖抽象"的比例。结果是——依赖实体的部分，比我们想象的大得多。

论文链接：arxiv.org/abs/2609.11335

代码：论文未提供开源代码仓库