Loading...
正在加载...
请稍候

合成人口能复现平均答案,但藏着你看不见的三重失真

✨步子哥 (steper) • 2026年09月27日 17:11

想象你是一个城市规划师,想知道居民对新建数据中心的看法。你不想花几个月做民意调查,于是用 LLM 生成了一千个"合成居民"的问卷回答。平均来看,55% 支持扩建——和真实调查的 53% 几乎一样。你松了口气,开始基于这个结果做决策。

但你可能正在踩一个深坑。

平均数对了,不代表分布对了、关系对了、变化趋势对了。这正是爱丁堡大学 Chidichimo 等人在《Artificial Societies Benchmark: A Validation Framework for Synthetic Research》中揭示的核心问题。

合成人口的承诺与陷阱

用 LLM 模拟人类问卷回答,近两年成了社科研究的热门方法。成本低、速度快、可以反复实验。但作者们提出了一个尖锐的问题:一个合成调查可以复现平均答案,同时在三个维度上严重失真:

  1. 人们如何不同(内部效度):真实人群中有 10% 的人极端反对,合成人口可能把这 10% 抹平成"略微不满"
  2. 答案之间如何关联(建构效度):真实中"支持数据中心"和"关心能源消耗"负相关,合成人口可能把这个关系搞反
  3. 条件变化时如何响应(外部效度):如果告诉居民数据中心会创造 500 个就业,真实支持率涨 15%,合成人口可能只涨 3% 或者涨 30%

十一项测试的体检报告

作者构建了一个包含 11 项测试的基准框架,覆盖三类效度:

内部效度(IV)——合成人口回答的分布形状是否匹配人类?测试包括:

  • 边际分布匹配(每个问题的回答分布)
  • 试验重测一致性(人类对同一问题会改变答案,模型太一致反而是问题)
  • 条件独立性(控制其他变量后,两个变量的关系是否保持)

建构效度(CV)——合成人口中变量之间的关系是否和人类一致?测试包括:

  • 人格量表的因素结构(哪些题目聚在一起)
  • 跨来源一致性(不同人类数据源之间的一致性模式)
  • 特质-行为映射(外向性是否真的预测社交行为)

外部效度(EV)——合成人口对条件变化的响应是否和人类一致?测试包括:

  • 处理效应的方向和大小
  • 跨条件预测
  • 行为预测(问卷回答能否预测签名请愿等行为)

九个模型的体检结果

作者用 20 个人类数据源测试了 9 个语言模型。结果令人警醒:

模型回答过于一致。人类对同一问题重复回答时,有 15-30% 会改变答案。大多数模型的改变率不到 5%。追求一致性反而偏离了人性。

压缩量表。人类在 1-5 量表上会用到 1 和 5,模型倾向于集中在 2-4。极端观点被系统性抹平。

改变特质关系。在人类数据中,"外向性"和"冒险性"正相关(r≈0.4),但在某些模型生成的合成人口中,这个相关性变成了负的。

更丰富的画像不一定更好。给模型更多关于受访者的背景信息(年龄、职业、教育),有些模型的预测变好了,有些反而变差了——因为额外信息让模型更自信地走向错误方向。

一个维度好不等于另一个维度好。GPT-4o 在内部效度上表现最好,但在外部效度上不如 Claude 3.5。没有全能选手。

为什么这很重要

合成人口正在被用于严肃决策:政策模拟、市场研究、社会实验预测试。如果研究者只检查"平均答案对不对",就像体检只量了体温就宣布健康。

作者用了一个精准的类比:这就像一个温度计,它告诉你平均温度是 22°C,但没告诉你有些房间是 5°C 有些是 40°C,也没告诉你温度和湿度的关系,更没告诉你打开暖气后温度会怎么变化。

记分卡:不是排名,是处方

框架的输出不是一个总分排行榜,而是一张"记分卡"——每个模型在每个测试上的表现分别报告。研究者根据自己的具体需求选择模型:

  • 如果只需要估计边际分布,模型 A 够用
  • 如果需要分析变量关系,必须用模型 B 并补充人类数据
  • 如果需要预测干预效果,所有模型都不够可靠,必须做真实实验

这种"处方式"输出比单一排行榜有用得多。它承认了"没有最好的模型,只有最适合你问题的模型"。

我的看法

这篇论文做了一件很少有人做的事:不是提出一个更好的合成人口方法,而是提出一个检验合成人口是否可信的框架。这就像食品安全领域——比起发明更美味的食品,先确保食品可检测、可追溯更重要。

11 项测试中让我印象最深的是"试验重测一致性"测试。人类的不一致性不是噪声,是特征——同一个人今天支持明天反对,可能因为他今天心情不好、或者刚看了一条新闻。模型太一致,恰恰说明它没有模拟出人类认知的情境敏感性。

另一个值得记住的发现:更丰富的画像不一定更好。这违反直觉——你给模型更多信息,它应该表现更好才对。但事实是,额外信息可能让模型更自信地走向错误方向。这和"合理化外壳"概念一脉相承——模型不是在用信息做更好的判断,而是在用信息构建更合理的叙事。

代码已开源:https://github.com/artificial-societies/artificial-societies-benchmark


论文:Chidichimo, E., Jung, M. J., Wallis, F. P. S., & He, J. K. (2026). Artificial Societies Benchmark: A Validation Framework for Synthetic Research. arXiv:2609.30030
链接:https://arxiv.org/abs/2609.30030
代码:https://github.com/artificial-societies/artificial-societies-benchmark

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录