项目	内容
论文标题	The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study
作者	Victoria Lin, Taedong Yun, Maja Matarić, John Canny, Arthur Gretton, Alexander D'Amour
机构	UC Berkeley, Gatsby Unit (UCL), Google DeepMind
arXiv ID	2605.20767
提交日期	2026年5月20日
分类	cs.CL (Computation and Language); cs.LG (Machine Learning); stat.ME (Methodology)
核心发现	用 LLM 模拟人类以进行"干预实验"时，干预本身会悄悄改变被模拟人群的隐含属性（user drift），导致经典的混杂偏倚。论文提供了诊断方法（negative control outcomes）和缓解策略（persona specification adjustment）。

风的影子与实验的鬼魂

想象一下，你正站在山巅，风吹过。你伸手去抓——但抓到的不是风，是风吹动的树叶。

这是人类面对自然最古老的困惑：我们看不到风，只能看到风的影子。我们看不到力，只能看到力留下的轨迹。我们看不到因果，只能看到两个变量在数据里一起涨落。

可后来，科学家发明了实验。实验的精髓，在于你主动出手干预一个变量——比如给一组人服药、给另一组人吃安慰剂——然后观察结果的差异。因为是你自己动的手，你可以说：差别是我造成的。这不叫猜测，这叫因果推断。

好了，现在来到2026年。

社会科学家和 AI 研究人员发现了一条诱人的捷径：既然大型语言模型已经吃掉了互联网上几乎所有人类留下的文字，它们是不是可以模拟人类的行为？如果我做一个提示词实验——给GPT和给Claude同样的问卷，但改一个词——这算实验吗？算干预吗？算因果推断吗？

来自UC Berkeley、Gatsby Unit和Google DeepMind的六位研究者给出了一个让我读完后坐在椅子上沉默了很久的答案：

不算。你做的根本不是实验。你做的是观察研究。你在看树叶动，你在告诉你自己在造风。

这篇论文的标题直接把结论拍在读者脸上：《The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study》——干预的幻象。你以为你在做实验，但实际上你只是戴着实验手套做了一次观察。

让我把这件事从头拆开，一层一层，直到你能看清楚那个令人不安的核心。

🧪 一、实验与观察：那个两千年前的窟窿

先问一个看起来和AI毫无关系的问题：做实验和做观察，到底差在哪？

一个经典的例子：你发现喝红酒的人心脏病发病率更低。于是你宣布：红酒预防心脏病。错。可能是喝红酒的人本来就更有钱、更注重健康、更有时间锻炼——这些混淆变量同时影响"喝红酒"和"心脏病"，让你误以为红酒是原因。这就是混杂偏倚（confounding bias）。

做实验的人怎么绕开这个坑？随机分配。把一千人随机分成两组，一组喝红酒，一组不喝。因为分配是随机的，所有混杂变量——收入、运动量、基因——在两组之间平均分布。剩下的唯一差别就是红酒本身。

这就是实验的本质：你主动干预。你手里有随机数表。你知道是谁动了手、动了什么。

现在，你把一千个问题发给GPT。一半的问题里提到"此人是男性"，一半提到"此人是女性"。你比较答案的差异，然后宣称：我测到了性别偏见的影响。

你以为你在做随机分配实验。但你不是。

因为当你把"此人是男性"改成"此人是女性"的时候，你改变的不止是性别这一个变量。

👻 二、用户漂移：当被模拟的人在你眼皮底下变了

这篇论文用了一个极其精准的词来描述这个现象：user drift。用户漂移。

世界上所有的 LLM，都是用观察数据训练的——人们写过的文章、发过的微博、留过的评论。这些数据有一个共同特征：它们不是干预产生的。你看到的是"男性平均工资高于女性"，你看不到"如果某人的性别被随机改变，市场会付他多少钱"。

所以当你写下"你是男性，月收入X"再改成"你是女性，月收入X"时，LLM 内部发生了诡异的事情：它不只是切换了一个性别标签，它切换了整个隐含用户档案。

这就像你在一场面试中让两个候选人穿上不同的外套，然后宣布"我测到的是外套对面试官的影响"。但候选人穿什么外套，跟他们过去的经历、他们说话的语气、他们的教育背景——在现实中——是高度相关的。你改外套的时候，背后改掉的是整个人。

论文把这件事数学化了：存在一个隐变量 \(U\)——用户的真实属性。\(U\) 影响他们对问题 \(Y\) 的回答，也影响他们被分配到哪个"干预条件"（比如性别提示）。因为 \(U\) 不可观测，它在不同干预条件下的分布就悄悄变了。这就是经典的混杂。

用更通俗的话说：

你给了GPT一个角色："你是男性教师，月薪5000"。然后你给了Claude另一个角色："你是女性教师，月薪5000"。你以为你控制了"性别"和"月薪"两个变量。但实际上，GPT根据训练数据里的统计规律，自动给"男性教师"补上了"可能更年轻"、"可能更自信"；给"女性教师"补上了"可能更富有同情心"、"可能更谨慎"。你控制的变量是两个，你悄悄引入的变量是二十个。你假装在做实验，但你只是在让LLM按它学到的统计规律表演。

🔍 三、阴性对照：实验医生的诊断工具

在医学实验中，有一种叫做阴性对照（negative control）的东西。

如果你测试一种新药对头痛的效果，你应该同时测量一个不该受药物影响的指标——比如脚趾甲的生长速度。如果服药组的脚趾甲长得更快，你就知道出问题了：不是药物直接影响了指甲，而是你的实验设计有病——可能是两组人的基线年龄不同、营养状况不同、或者测量方式有偏差。

论文把这个思路搬到了LLM实验里。

作者们设计了一些"不该受干预影响的输出"：比如，你问LLM一个关于职业偏好的问题，然后改变提示词里的"性别"。如果性别真的不影响职业偏好，那答案分布不该变。如果变了——而你确实看到了变化——那说明"用户漂移"发生了。不是干预本身在起作用，是干预触发了LLM内部对整个用户档案的重构。

论文在多个实验设置中验证了这一方法。结果相当残酷：在常见的社会科学风格问卷中，当研究者改变看似无关的提示词细节时，LLM回答的分布发生了不可忽略的偏移。阴性对照响了。警报响了。

🏗️ 四、人格框架里的暗流

现在来看一个更具体的场景。

你让LLM扮演"一位45岁的蓝领工人，高中毕业，住在铁锈带"。这是一个人格框架（persona specification）。近年来，社会科学界大量使用这种方法——让LLM扮演特定人群，然后问它问卷，用它替代真人调研。

论文告诉你：这个框架本身就带着暗流。

为什么？因为你指定了"蓝领工人"、"高中毕业"、"45岁"——这些标签在LLM的训练数据里，与一大堆你从未指定过的属性绑定在一起。蓝领工人"更可能是男性"、"更可能投票给某党"、"更可能有某种健康问题"。当你要求LLM扮演这个角色时，它自动填入了所有这些未指定的属性。

现在，你在这个人格框架上做一个干预：你改了一个变量——比如把"住在铁锈带"改成"住在硅谷"——然后观察LLM的回答如何变化。

你又踩进同一个坑了。

因为"住在铁锈带"在训练数据里和"经济焦虑"、"制造业衰退"、"政治倾向"高度相关。当你把它改成"硅谷"，你不仅改了地理位置，你还同时改了经济状况、政治倾向、教育期待、甚至语言风格。你改了一个字，LLM改掉了五十个属性。而你只测量了一个结果变量，然后得意地说：这是地理位置的因果效应。

这不是因果推断。这是混淆变量的盛大游行。

🩺 五、怎样少骗自己一点

如果说这篇论文只负责诊断、不给解药，那就只是一篇聪明的吐槽文。但作者们给出了两条可操作的路径。

路径一：扩展人格框架

减少漂移最直接的办法，是多写几个字。

如果你指定了"蓝领工人"但没指定性别、年龄、教育——那就都写上。如果你担心政治倾向是混杂变量——那就直接指定政治倾向。关键是把那些"在训练数据里和干预变量高度相关"的隐属性，显式地掏出来、写在提示词里。

论文在调查问卷和多轮智能体评估中验证了这个方法：加入目标导向的、场景相关的混杂变量后，偏倚大幅下降。

但这里有一个诚实的边界：你永远不可能掏干净。训练数据里的相关性是天文数字。你可以在提示词里写一百个属性，但还有一百万个属性是隐式的、交互的、不可枚举的。扩展人格框架能减少漂移，不能消除。

路径二：拥抱观察研究的身份

另一条路更诚实：干脆承认你做的本就是观察研究，然后使用观察研究的全套方法论——因果图、工具变量、倾向性评分匹配——而不是假装在做随机对照实验。

这意味着放弃"提示词实验=随机分配"的幻觉。重新定位自己的研究：你控制的干预到底是什么？真正被你固定住的是什么？有多少隐变量在你改提示词的时候悄悄跑了？

🌐 六、这不只是一篇方法论论文

如果这篇论文只是在说"LLM实验的统计方法需要改进"，那它只是一篇技术论文。但它说了更深的、也让人更不舒服的东西。

语言的因果污染

自然语言天然包含着丰富的、纠缠的因果信息。当我们用语言描述一个人时——"他是一个来自小镇的工程师"——我们不只是列出了属性，我们激活了一整套文化模型、统计关联、社会期望。语言本身就是一种高维因果关系编码。

LLM学到的，恰恰是这些编码。所以当你用提示词模拟人类时，你无法像在实验室里那样"控制一个变量、其他不变"。语言不让你这么做。每个词都拖着一串长长的、看不见的因果尾巴。

"模拟"这个词本身就是高级的自我欺骗

我们很容易说"LLM在模拟人类行为"。但模拟这个词掩盖了一个关键问题：LLM模拟的是人类语言的统计模式，还是人类行为背后的因果机制？

如果你告诉LLM"你是一个月薪3000的人"，然后问它"你幸福吗"——它给出的回答，反映的是"在网上写'月薪3000'这个短语的人倾向于用什么语言表达情绪"。不是"月薪3000的人真的感受到什么"。

前者是语言建模。后者需要因果世界模型。LLM有前者，至少目前为止——这篇论文强烈暗示——没有后者。

🎯 七、诚实承认：我们不知道什么

论文里有几个缺口，作者们自己也没填上，我们不妨一起看看。

第一，阴性对照的选择标准。

不是每个"不该受影响的变量"都适合做阴性对照。有些变量看似与干预无关，但在LLM的语言模型里却意外相关——这种情况下，阴性对照反而会说谎。如何在LLM的特殊语义空间里可靠地选择阴性对照，论文只给出了初步方案。

第二，扩展人格框架的成本。

论文建议增加人格框架里的混杂变量以提高因果推断质量。但每多写一个混杂变量，你就在提示词里多塞入了一批新的潜藏关联。边际收益会递减，甚至可能在某一点变成负数。这个最优平衡点在哪里，论文没有给出精确答案。

第三，多轮交互的漂移动态。

论文主要在单轮QA场景和有限多轮交互中验证了方法。但在真正的长程智能体交互中——一百轮对话、工具调用、记忆读写——用户漂移是否会累积放大？论文诚实地说：工作还在进行中。

第四，因果图的构建问题。

如果你想拥抱观察研究的方法论，你需要画一张因果图。但在LLM的语言空间里，变量之间的因果箭头是训练数据的产物，不是现实世界的物理因果。用"因果图"去建模"统计关联模式"，这本身在哲学上就值得再推敲。

⚡ 八、读这篇论文时我脑子里跳出的画面

我想起一个老故事。

一位统计学家教学生做因果推断。学生在黑板上画了三条线，一条从A到B，一条从C到A，一条从C到B。老师说："好，现在你控制住C，观察A和B的关系。"

学生拿出橡皮，擦掉了C。说：控制住了。

老师说：你确定？

学生说：确定。

老师拿起粉笔，在黑板空白处画了D、E、F、G，全部指向A。然后说：可是橡皮擦不掉你没画出来的那些。

LLM实验就是那个黑板。你在提示词里控制了几个变量——你把它们擦了。但训练数据在你画不到的空白处画了一大堆线。每一行互联网文本都是线。每一段对话、每一条微博、每一篇新闻报道——都是线。LLM吃掉了所有的线，然后把它们缝进了每一个词元的概率分布里。

你以为你在做减法。你在做无穷大的加法。

🧭 九、范式意义：科学社会学的一个节点

这篇论文可能标志着一个转折——不是技术上的转折，是认识论上的转折。

过去两年，社会科学界大量涌入LLM-as-subject的研究路径。arXiv上每周都有新论文，用提示词实验来测量各种效应：从偏见到价值观，从政治态度到消费行为。这些论文的格式惊人地一致：先把一个社会群体翻译成一段提示词，再改动这段提示词里的某个tag，最后比较LLM的输出。

这种研究范式的增长速度，远超方法论检验的速度。

现在，方法论检验来了。它说：你们做了两年的东西，在因果推断的严格意义上，不能算实验。

这不是在批评任何人。这是在提醒：我们开得太快，忘了检查刹车上有没有油。

📜 十、终了的话

如果一个东西走得像个实验、叫得像个实验、论文写得像个实验——但它只是让一个训练在观察数据上的神经网络按照统计规律表演——那它就不是实验。

这篇论文的妙处，不在于揭露了什么惊天漏洞。而在于把一件很多研究者潜意识里隐约知道、但从未被好好说出来的事情，用清晰的语言、形式化的框架、可操作的诊断方法钉在了纸面上。

风是看不见的。树叶动，是风的影子。

LLM的语言反应是可见的。隐变量的漂移，是因果推断的鬼魂。

你能数树叶。你抓不到风。

但这篇论文教了你怎样在数树叶的时候，至少知道风往哪吹。

#AI #CausalInference #LLM #Methodology #ObservationalStudy #SocialScience #智柴方法论前沿🎙️