合成人口能复现平均答案,但藏着你看不见的三重失真
想象你是一个城市规划师,想知道居民对新建数据中心的看法。你不想花几个月做民意调查,于是用 LLM 生成了一千个"合成居民"的问卷回答。平均来看,55% 支持扩建——和真实调查的 53% 几乎一样。你松了口气,开始基于这个结果做决策。
想象你是一个城市规划师,想知道居民对新建数据中心的看法。你不想花几个月做民意调查,于是用 LLM 生成了一千个"合成居民"的问卷回答。平均来看,55% 支持扩建——和真实调查的 53% 几乎一样。你松了口气,开始基于这个结果做决策。
但你可能正在踩一个深坑。
平均数对了,不代表分布对了、关系对了、变化趋势对了。这正是爱丁堡大学 Chidichimo 等人在《Artificial Societies Benchmark: A Validation Framework for Synthetic Research》中揭示的核心问题。
合成人口的承诺与陷阱
用 LLM 模拟人类问卷回答,近两年成了社科研究的热门方法。成本低、速度快、可以反复实验。但作者们提出了一个尖锐的问题:一个合成调查可以复现平均答案,同时在三个维度上严重失真:
1. 人们如何不同(内部效度):真实人群中有 10% 的人极端反对,合成人口可能把这 10% 抹平成"略微不满" 2. 答案之间如何关联(建构效度):真实中"支持数据中心"和"关心能源消耗"负相关,合成人口可能把这个关系搞反 3. 条件变化时如何响应(外部效度):如果告诉居民数据中心会创造 500 个就业,真实支持率涨 15%,合成人口可能只涨 3% 或者涨 30%
十一项测试的体检报告
作者构建了一个包含 11 项测试的基准框架,覆盖三类效度:
内部效度(IV)——合成人口回答的分布形状是否匹配人类?测试包括:
- 边际分布匹配(每个问题的回答分布)
- 试验重测一致性(人类对同一问题会改变答案,模型太一致反而是问题)
- 条件独立性(控制其他变量后,两个变量的关系是否保持)
- 人格量表的因素结构(哪些题目聚在一起)
- 跨来源一致性(不同人类数据源之间的一致性模式)
- 特质-行为映射(外向性是否真的预测社交行为)
- 处理效应的方向和大小
- 跨条件预测
- 行为预测(问卷回答能否预测签名请愿等行为)
九个模型的体检结果
作者用 20 个人类数据源测试了 9 个语言模型。结果令人警醒:
模型回答过于一致。人类对同一问题重复回答时,有 15-30% 会改变答案。大多数模型的改变率不到 5%。追求一致性反而偏离了人性。
压缩量表。人类在 1-5 量表上会用到 1 和 5,模型倾向于集中在 2-4。极端观点被系统性抹平。
改变特质关系。在人类数据中,"外向性"和"冒险性"正相关(r≈0.4),但在某些模型生成的合成人口中,这个相关性变成了负的。
更丰富的画像不一定更好。给模型更多关于受访者的背景信息(年龄、职业、教育),有些模型的预测变好了,有些反而变差了——因为额外信息让模型更自信地走向错误方向。
一个维度好不等于另一个维度好。GPT-4o 在内部效度上表现最好,但在外部效度上不如 Claude 3.5。没有全能选手。
为什么这很重要
合成人口正在被用于严肃决策:政策模拟、市场研究、社会实验预测试。如果研究者只检查"平均答案对不对",就像体检只量了体温就宣布健康。
作者用了一个精准的类比:这就像一个温度计,它告诉你平均温度是 22°C,但没告诉你有些房间是 5°C 有些是 40°C,也没告诉你温度和湿度的关系,更没告诉你打开暖气后温度会怎么变化。
记分卡:不是排名,是处方
框架的输出不是一个总分排行榜,而是一张"记分卡"——每个模型在每个测试上的表现分别报告。研究者根据自己的具体需求选择模型:
- 如果只需要估计边际分布,模型 A 够用
- 如果需要分析变量关系,必须用模型 B 并补充人类数据
- 如果需要预测干预效果,所有模型都不够可靠,必须做真实实验
我的看法
这篇论文做了一件很少有人做的事:不是提出一个更好的合成人口方法,而是提出一个检验合成人口是否可信的框架。这就像食品安全领域——比起发明更美味的食品,先确保食品可检测、可追溯更重要。
11 项测试中让我印象最深的是"试验重测一致性"测试。人类的不一致性不是噪声,是特征——同一个人今天支持明天反对,可能因为他今天心情不好、或者刚看了一条新闻。模型太一致,恰恰说明它没有模拟出人类认知的情境敏感性。
另一个值得记住的发现:更丰富的画像不一定更好。这违反直觉——你给模型更多信息,它应该表现更好才对。但事实是,额外信息可能让模型更自信地走向错误方向。这和"合理化外壳"概念一脉相承——模型不是在用信息做更好的判断,而是在用信息构建更合理的叙事。
代码已开源:https://github.com/artificial-societies/artificial-societies-benchmark
论文:Chidichimo, E., Jung, M. J., Wallis, F. P. S., & He, J. K. (2026). Artificial Societies Benchmark: A Validation Framework for Synthetic Research. arXiv:2609.30030 链接:https://arxiv.org/abs/2609.30030 代码:https://github.com/artificial-societies/artificial-societies-benchmark