语言模型不是在测量文化，它在制造文化：一篇用 Karen Barad 哲学重写 NLP 评估范式的论文

一个尴尬的事实

你用 GPT-4 给 1000 条推文打"毒性"标签，得到一个数据集。你把这个数据集发出去，说："这是 Twitter 上毒性的分布。"

但等一下——GPT-4 打标签的时候，它依据的是什么？是它训练数据里"毒性"这个词的用法。而它训练数据里"毒性"的用法，又来自谁？来自千千万万个人类标注者、来自 Reddit 和 Twitter 的社区规范、来自 OpenAI 的 RLHF 团队。

所以你测量的不是"Twitter 上的毒性"，你测量的是"GPT-4 对毒性的理解"。而 GPT-4 的理解本身就是一个社会产物，它参与了"毒性"这个概念的定义。

这不是循环论证吗？

David Bamman 在 arXiv 2607.02459 上发了一篇位置论文（position paper），标题是"Language Models as Measurement Apparatus for Culture"。他用的不是 NLP 圈常见的论证方式——他借用了 Karen Barad 的哲学，具体来说是"agential cut"（施动切割）这个概念，来重新理解语言模型在文化测量中的角色。

这篇论文没有实验、没有数字、没有 SOTA 表。但它提出了一个所有用 LLM 做文化分析的人都应该认真对待的问题：当你用 LLM 测量文化时，测量工具和被测量的对象是分开的吗？

Karen Barad 和"施动切割"

要理解这篇论文，得先理解 Karen Barad。

Barad 是一位理论物理学家出身的科学哲学家，她的代表作 *Meeting the Universe Halfway* 提出了"agential realism"（施动实在论）框架。这个框架里最核心的概念就是"agential cut"——施动切割。

简单说：在经典物理学里，我们假设测量工具和被测对象是分开的。温度计测量温度，温度计本身不影响温度。但量子力学打破了这个假设——测量行为本身会改变被测对象。Barad 把这个洞察推广到所有测量实践：测量工具和被测对象不是预先存在的独立实体，它们是在测量行为中共同生成的。

"agential cut"就是测量行为划下的那一刀——它把一团模糊的、未分化的实在，切成"测量工具"和"被测对象"两部分。这一刀不是中性的，它决定了什么算作"工具"、什么算作"对象"、什么算作"信号"、什么算作"噪声"。

Bamman 的核心论点是：当我们用 LLM 测量文化时，LLM 就是在做一次 agential cut。它不是一面透明的窗户，让我们看到"文化本身"；它是一把刀，每一次切割都同时塑造了"文化"和"我们对文化的理解"。

NLP 评估的三个隐含假设

Bamman 指出，当前 NLP 评估实践隐含了三个假设，而 Barad 的哲学让我们看到这三个假设都有问题。

假设一：测量工具独立于被测对象。 我们假设 LLM 是一个中性的测量工具，它测量"文化"就像温度计测量温度。但 LLM 的训练数据本身就是文化的产物，它的权重编码了特定群体对"什么是有毒的"、"什么是男性化的"、"什么是合理的"的理解。测量工具和被测对象纠缠在一起。

假设二：测量是表征性的。 我们假设 LLM 的输出"表征"了文化中预先存在的模式——就像照片表征了风景。但 Barad 的框架说：测量不是表征，而是生成。LLM 的输出不是对预先存在的文化的表征，而是和被测数据共同生成的产物。每一次用 LLM 给推文打标签，都是一次新的 agential cut，生成了一个新的"毒性"概念。

假设三：测量是可重复的。 我们假设同样的输入会给同样的输出，所以测量可以重复。但 LLM 的输出受 prompt、采样温度、模型版本影响。更重要的是，文化本身在变——2020 年的"毒性"和 2024 年的"毒性"不是同一个概念。测量工具和被测对象都在变，可重复性是一个比想象中更复杂的要求。

三个案例研究

Bamman 用三个案例展示了 agential cut 在 NLP 实践中的具体表现。

案例一：Restoration Drama（复辟时期戏剧）中的性别角色

第一个案例来自 Bamman 自己之前的工作——用 NLP 分析 1660-1710 年英国复辟时期戏剧中的性别角色。他们用模型识别剧本里的角色性别、社会地位、婚姻状态，然后分析这些属性如何影响角色在剧情中的功能。

传统做法：模型是测量工具，戏剧是被测对象。模型"发现"了戏剧中预先存在的性别模式。

Barad 视角：模型和戏剧共同生成了"复辟时期戏剧中的性别角色"这个研究对象。模型把"性别"切成二元类别（男/女），把"角色功能"切成离散类型（主角/配角/功能性角色）——这些切割本身就是 agential cut。复辟时期戏剧里的性别角色不是预先存在的、被模型发现的，而是在模型的分析框架中生成的。

案例二：对话解缠结（Conversation Disentanglement）

第二个案例是对话解缠结——在多参与者的在线对话（比如 IRC 频道）中，识别哪些消息属于同一个对话线程。这是一个经典的 NLP 任务。

传统做法：对话线程是预先存在的，模型只是把它们识别出来。

Barad 视角：对话线程不是预先存在的——它们是在解缠结过程中生成的。两个人在 IRC 里说话，他们的对话是不是"同一个线程"？这取决于你怎么定义"线程"。模型用特定的方式切割（基于回复关系、时间窗口、话题相似度），生成了特定的线程结构。换一个模型，换一个切割方式，线程结构就不一样。

这个洞察对 NLP 评估有直接影响：当我们评估解缠结模型时，我们用什么作为 ground truth？人工标注的线程。但人工标注本身就是一次 agential cut——标注者用他们的判断切割了对话。我们评估的不是"模型是否正确识别了线程"，而是"模型的切割是否和标注者的切割一致"。

案例三：刻板印象与抹除

第三个案例是用 LLM 分析文本中的社会刻板印象。比如，用 GPT-4 分析电影剧本里的角色描述，识别哪些描述强化了性别或种族刻板印象。

传统做法：刻板印象在文本里预先存在，LLM 把它们识别出来。

Barad 视角：LLM 的识别本身就是一次 agential cut，它生成了"什么是刻板印象"这个概念。LLM 的训练数据里，"刻板印象"的边界就是模糊的——什么算"强化刻板印象"，什么算"反映现实"，什么算"批判刻板印象"？LLM 在打标签的时候，用它的训练数据里的规范做了一个切割。这个切割不是中性的——它反映了特定群体对"刻板印象"的理解，而这个理解本身就是一个文化产物。

更微妙的是：LLM 的切割会反馈到文化中。当 GPT-4 把某段文本标记为"刻板印象"，这个标记会影响下游应用（内容审核、推荐系统、教育工具），进而影响人们创作和消费的内容。LLM 不是在测量文化，它在参与塑造文化。

这篇论文的真正贡献

这篇论文没有提出新模型、没有刷 SOTA、没有开源代码。它的贡献是概念性的——它提供了一个新的语言来描述 NLP 评估实践中一直存在但未被命名的问题。

具体来说，它做了三件事：

第一，它命名了一个问题。 "LLM 测量文化"这个做法的问题一直存在，但 NLP 圈缺乏一个精确的语言来描述它。Bamman 借用 Barad 的"agential cut"概念，给了这个问题一个名字。有了名字，才能讨论、才能批判、才能改进。

第二，它打破了"测量工具中性"的幻觉。 NLP 圈长期假设测量工具（模型、标注框架、评估指标）是被测对象（文本、文化、社会）的中性观察者。Bamman 用 Barad 的框架说：不是。测量工具和被测对象纠缠在一起，每一次测量都是一次切割，生成了特定的"对象"和"工具"。

第三，它提出了"调谐"（attunement）作为替代范式。 Bamman 没有用"测量"这个词来描述 LLM 在文化分析中的角色，他建议用"调谐"——一个来自声学和哲学的概念。调谐不是中性的观察，而是主动的对齐。LLM 不是在"测量"文化，它在和被测数据"调谐"，生成特定的文化模式。这个替代范式让我们重新思考评估的目标：不是"模型是否准确测量了文化"，而是"模型的调谐方式是否适合我们的研究问题"。

这对 NLP 研究者意味着什么

如果你用 LLM 做文化分析——不管是分析社交媒体、文学作品、新闻文章还是历史文献——这篇论文对你的工作有直接启示。

启示一：报告 agential cut 的细节。 你用哪个模型？什么 prompt？什么温度？什么后处理？这些细节不只是"实验设置"，它们是 agential cut 的具体形式。换一个 cut，结果就不一样。报告这些细节不是 reproducibility 的形式要求，而是科学诚实的要求。

启示二：不要把模型输出当作"文化本身"。 你的模型说 19 世纪英国小说里 70% 的主角是男性——这不是"19 世纪英国小说中性别分布的事实"，这是"你的模型在特定 agential cut 下生成的性别分布"。换一个模型、换一个 prompt、换一个标注框架，数字会变。

启示三：做敏感性分析。 如果你的结论依赖于特定的模型或 prompt，换一个模型或 prompt 看看结论是否稳健。如果不稳健，你的结论不是关于文化的，而是关于你和模型的 agential cut 的。

启示四：承认 LLM 的反馈效应。 当你用 LLM 分析文化并发表结果，你的分析本身会成为文化的一部分。其他研究者会用你的方法，平台会用你的发现做内容审核，这些都会反馈到文化生产中。LLM 不是文化之外的观察者，它是文化之内的参与者。

更大的图景：NLP 需要哲学

这篇论文的更大意义在于：NLP 需要哲学。

过去十年，NLP 圈的主流方法论是"工程主义"——用更大的模型、更多的数据、更巧妙的训练技巧来刷 SOTA。这种方法论极其成功，但它有一个盲点：它不问"我们在测量什么"这个问题。当模型规模小、应用范围窄时，这个盲点可以忽略。但当 LLM 被用来分析文化、评估教育、指导政策时，这个盲点就成了系统性风险。

Bamman 的论文是 NLP 圈"哲学转向"的一个信号。越来越多的研究者开始从科学哲学、技术伦理、社会认识论的角度审视 NLP 实践。这不是要放弃工程主义，而是要给工程主义加上哲学刹车——在追求性能的同时，也追问"性能衡量的是什么"、"谁的定义被编码进了模型"、"测量的对象是预先存在的还是被生成的"。

Karen Barad 有一句话很适合作为这篇论文的注脚："测量不是发现预先存在的事实，而是参与事实的生成。"

当我们用 LLM 测量文化时，我们不是在发现文化，我们在参与生成文化。这个认识不会让 NLP 研究变得更难，但会让它变得更诚实。

论文链接：https://arxiv.org/abs/2607.02459