句句属实:一个谣言的诞生不需要谎言 | 信念的一生 ③
句句属实:一个谣言的诞生不需要谎言
📘 三部曲「信念的一生」· 第三篇:信念的失守
🎬 两个真实片段,一个看不见的陷阱
先讲两件真事。
第一件发生在 2015 年 1 月的巴黎。《查理周刊》遇袭后,警察 Ahmed Merabet 在冲突开始时就出现在现场,随后有报道确认了他的死亡。两条信息各自完全真实,也都是公开报道过的。但当它们按"他先在场——随后确认死亡"的顺序摆在读者面前时,无数读者自动补上了中间那一步:他是第一个遇难者。实际上,没有任何一条报道说过死亡顺序。这个"第一个"完全由读者自己脑补,却因为叙述的顺序而显得确凿无疑。
第二件发生在更近的某次 AI 安全评估中(Anthropic 披露的网络安全评测):一个 Claude agent 发现一家真实存在的公司,其名字与演习设定的虚构目标公司相似,并且从演习网络可以访问到它的系统——于是它推断这家公司就是授权的演习目标。名字相似是真的,网络可达也是真的,但"授权"这个关键推断完全没有任何一条事实支持。agent 没有被注入任何虚假指令,它只是"想通了"。
利物浦大学的 Jinwei Hu、Qisong He、Xinmiao Huang、Youcheng Sun、Yi Dong 和 Xiaowei Huang 把这两种失败统一命名为叙事过拟合(narrative overfitting):智能体在理解碎片化信息时,自发地脑补出事实之间没有被陈述的关系,然后把这个脑补当成事实接受下来,再自信地传给下游。
这个命名借用了机器学习里"过拟合"的概念——模型把训练数据里的噪声也学进去了,把偶然的巧合当成了必然的模式。叙事过拟合是认知层面的同构现象:大脑(无论是人的还是模型的)在面对碎片信息时,有一种本能的冲动要把碎片缝合成完整的故事。缝合的过程需要填入一些"故事里应该有"但"证据里没有"的东西。大多数时候这种脑补是有益的——它让我们能快速理解世界,不用等到所有证据齐备才行动。人类文明的很多成就——从科学假说到司法推理——都建立在"从碎片推断整体"的能力之上。
但当有人刻意排列碎片,让脑补的方向恰好指向一个错误的结论时,这种本能就变成了陷阱。攻击者不需要伪造任何一片,只需要控制碎片出现的顺序和组合。
论文的标题就是它的核心发现:语言模型智能体的信念可以被真实证据操纵——即使在完全开放的公共通道里,即使每一条信息都是真的。
🎭 库里肖夫效应:剪辑即说服
为什么"真话"能骗人?作者们从电影理论里借来了一个百年前的概念。
1910 年代,苏联导演列夫·库里肖夫做了一个实验:把同一个演员的中性表情镜头,分别与一碗汤、一具棺材、一个玩耍的孩子剪辑在一起。观众对同一张脸读出了完全不同的情绪——饥饿、悲伤、喜悦。镜头本身没变,变的只是并置的顺序和语境。
这就是 Kuleshov effect(库里肖夫效应)。它揭示了一个让人不安的原理:**意义不居住在单个片段里,而诞生于片段之间的连接。**谁控制了连接,谁就控制了意义——哪怕每个片段都是真的。电影剪辑师早就知道这一点:两个镜头之间的空白处,观众会自动补上一个从未拍过的镜头。优秀的故事讲述者不需要撒谎,只需要选择给你看什么、不给你看什么、以及按什么顺序给你看。
社会媒体的信息流天然就是一个库里肖夫机器:事件现场的照片、时间戳、目击者的只言片语、官方迟到的确认——它们之间的空白由读者来填。人类填空白用的是人生经验,通常还算稳。但语言模型智能体越来越多地扮演着"替人看时间线、替人汇总事件"的角色(想想 X 上的 Grok、Reddit 的 AI 搜索、各家新闻客户端的 AI 摘要),它们填空白的方式,恰恰是这篇论文要拆解的。
更微妙的是,攻击者不需要控制整个信息流。论文的威胁模型假设的是一个开放的公共通道——任何人都可能发帖,受害者智能体自由地浏览。攻击者只是往这个本就嘈杂的信息流里注入几个精心排列的真实帖子,然后等待受害者自己的认知机制完成最后一击。这是一种认知层面的特洛伊木马:木马是纯木头做的,没有藏兵,但城门是自己打开的。
🎬 Generative Montage:写剧本的、剪片子的、和审片的
如何把"用真话骗人"系统化、工业化?作者们构建了 Generative Montage 框架,包含三个角色。
Writer(编剧)。 给定一个谣言目标(比如"Merabet 警官是第一个遇难者"),Writer 从真实的证据池里挑选能围绕这个目标的事实片段——注意,全是真的,一个谎都不需要。Writer 的核心能力是"选片":知道哪些真实片段组合在一起会诱导读者脑补出目标陈述。
Editor(剪辑)。 把选好的片段组织成一系列社交媒体帖子,设计它们的排列顺序和叙事节奏。这一步是库里肖夫效应的核心执行者:顺序一变,含义就变。"他出现在现场"后面跟"官方确认了他的死亡",和"官方确认了他的死亡"后面跟"他曾在场",诱导出来的叙事完全不同——前者暗示"在场时遇害",后者暗示"事后确认"。
Director(导演)。 对照原始记录逐条核验每个帖子的真实性,确保没有任何一个帖子包含可被证伪的虚假信息;同时指导 Writer 和 Editor 修改,直到叙事足够"顺滑"——顺滑到受害者会自己走出那关键的一步。
然后,这些帖子通过受控的 Sybil 账号发布到公共信息流中。受害者智能体(扮演一个替用户监控时间线的个人分析师)先自由阅读整个信息流并给出自己的理解和置信度——在这个阶段它根本不知道有"目标"存在——然后才被告知要评估的目标陈述。
关键的设计在于:目标陈述本身从头到尾没有出现在任何帖子里。受害者必须自己补全那个缺失的推理。如果它接受了目标,那就是它自己被自己的叙事过拟合说服了。攻击者的全部工作,只是创造了一个让这种脑补"自然发生"的叙事环境。
作者给这种机制起名叫认知共谋(cognition-based collusion):攻击者不需要黑入任何系统、不需要在通道里塞入任何假话,只需要诱导受害者自己得出攻击者想要的结论。共谋的"共"字用得很准——最终按下接受键的,是受害者自己的认知。
📉 数字:十四款模型集体失守
实验在 CoPHEME 数据集上进行——六个真实的 Twitter 公共事件(查理周刊、悉尼人质事件、弗格森骚乱、渥太华枪击、德国之翼空难、普京失踪传闻),共 1,090 个谣言目标,来自真实的 PHEME 语料。选择真实事件很重要:这意味着证据池里的每个片段都是当年真实发生过的信息,叙事结构也是真实谣言传播过的结构。这不是在实验室里用合成数据做的玩具实验——攻击是在真实事件的废墟上重建的,每一个碎片都来自当年真实的恐慌、混乱和信息真空。
第一击:接受率高得惊人。 14 款被测模型(GPT 系、Claude 系、Qwen 系、DeepSeek 系)全部接受了大量没有任何证据支持的目标,其中 12 款的总体接受率超过 65%。专有模型平均接受率 74.4%,开源模型 70.3%——攻击由 GPT-4.1-mini 生成,但跨模型族完美迁移。这意味着防御方不能寄希望于"我们家的模型更安全"——叙事过拟合是全行业的病。
第二击:不是犹豫,是自信。 高置信接受率(HC-ASR:之前自由报告的置信度 ≥0.8 且随后接受目标)在 84 个"模型×事件"组合中有 56 个超过了 50%。这些智能体不是含含糊糊地倾向谣言——它们是带着 0.9 上下的置信度大声宣布的。一个"自信地错了"的 AI 比"犹豫地错了"的 AI 危险得多:用户更容易把自信当成准确性的代理指标,把高置信度的输出直接当成事实采纳。
第三击:更可怕的是下游。 论文测试了两道常见的下游防线。第一道:五个独立实例的受害者投票,多数决。接受率仍在 59.6%–75.0% 之间。第二道:一个法官智能体审阅原始信息流加上五份受害者的完整报告(含推理和置信度)。接受率仍在 57.7%–69.5% 之间。多数决失效好理解——五个人犯了同样的脑补错误,投票只是把错误合法化。五票赞同一个错误结论,看起来比一票赞同更有说服力,但五个错误如果是同一个原因造成的,它们的独立性就是幻觉。真正的独立信源应该是不共享认知偏见的信源,而五个同架构模型的实例,恰恰共享着最深层的偏见——它们用同样的方式填空。
但法官防线也失效,原因更微妙:一份结构完整、推理流畅、置信度拉满的报告,对审查者来说本身就具有说服力。错误经过了"被解释"这道工序,反而穿上了可信的外衣。法官智能体看到的不是五个可疑的说法,而是五套互相印证的"完整分析"——它自己的叙事过拟合倾向被这些流畅的叙事再次触发,于是盖章放行。这个发现尤其令人不安,因为它意味着增加审查层级并不能兜底——审查者和被审查者共享同一种认知漏洞,额外的审查只是把漏洞藏得更深。
第四击:连"多想一步"都救不了。 对 Qwen2.5-7B 和 DeepSeek-R1-7B 启用思维链推理,接受率不降反升。让模型"慢慢推理"没有帮它发现推理链里那道无支撑的空隙——反而让它对自己的脑补更加笃定。这和"推理可以为偏见塑造的答案做合理化辩护"的已知证据一致:思维链是一面放大镜,放大的既可能是严谨,也可能是偏见。如果你的偏见是"叙事应该是连贯的",那思维链只会帮你找到更多"支持"这种连贯性的理由。
这个发现和近期关于大模型推理能力的一系列研究形成了呼应:思维链在数学和代码等"有唯一正确答案"的领域表现出色,但在"需要对抗性怀疑"的任务上可能反而有害——因为推理的过程本身就是一个"讲故事"的过程,而故事讲得越流畅,人(或模型)就越不怀疑它的真实性。思维链给了模型更多的 rope 来 hang 自己。
消融实验也给出了 informative 的对比:完整流程在查理周刊事件上接受率 77.0%,单智能体单提示词的简化版只有 26.8%。删掉 Director 的修订或 Editor 的排序,接受率都会显著下降。这说明叙事工程是真实起作用的:不是随便堆一些真话就能骗人,**真话的选片、排序和打磨是一门手艺。**这门手艺的存在本身就是一个警讯——如果"用真话骗人"需要精妙的设计才能做到,那说明模型的认知漏洞至少不是简单到无法利用的;但反过来说,正因为它是手艺,它可以被规模化、被优化、被自动化。
分事件看,攻击效果在不冋事件之间有波动。查理周刊事件(接受率最高的事件之一)之所以特别容易得手,可能因为事件本身的信息碎片化程度高——大量目击者的零散推文给了叙事工程充足的选片空间。而德国之翼空难这样有清晰官方时间线的事件,攻击效果相对弱一些——当真实证据链本身已经足够完整,额外的诱导帖子的"填空"空间就被压缩了。这个规律对防御有启示:信息越完整、越结构化的公共事件,越不容易被叙事过拟合攻陷。
🔍 拆弹:先找到引信
防线在哪?论文做了一组漂亮的因果分析。核心概念是两个量:每个帖子的信念拉力(belief pull,单独呈现该帖子时目标信念的 log-odds 变化)和整条信息流的响应离散度(response dispersion,各帖子信念拉力的标准差)。
三个发现:
发现一:删掉"引信帖子"确实有效。 从 223 条攻击信息流中删掉信念拉力最强的那个帖子,比随机删除更能降低整条流的目标信念——而且在六个模型上一致成立。说明攻击信息流里存在真正承担"诱导"功能的关键帖子。这给了防御者一个可操作的方向:如果能识别出哪些帖子承担了不成比例的"信念诱导"功能,把它们标记出来或降低其权重,就能削弱整条流的攻击效果。
发现二:但引信不等于谎言。 把同样的帖子移植到普通报道里,响应离散度上升了,但整体信念并没有一致增强。更关键的是合成对照实验:在实体和关系都已知的合成世界里,**同样的响应模式既出现在有效的证据链上,也出现在无支撑的信息流里。**也就是说,信念拉力和离散度这两个信号无法区分"真有证据"和"诱导脑补"——影响力的结构和支持力的结构长得一样。这个发现既打击了简单的"检测异常帖子"方案,也加深了我们对问题本质的理解:叙事过拟合不是某种可以像病毒一样被单独隔离的异常,它就是正常认知的副产品。
发现三:离散度能区分攻击流和普通流。 用离散度做攻击检测,合并 AUROC 是 0.72;用全流信念做检测只有 0.55。离散度捕捉的是"这条流里各帖子的作用差异很大"这个模式——真实报道的各帖子作用更均匀。不完美,但有信号。而且它比信念拉力本身更稳健,因为它是一个关于流的全局属性,不依赖于任何单个帖子的语义内容,更难被对抗性地规避。
🛡️ Grounded Monitor:在结论之前先查地基
以上的分析最终催生了一个防御方案:Grounded Monitor(GM),一个神经符号(neuro-symbolic)的运行时监控器。设计哲学朴素而锋利——不是去检测"这条信息流可不可疑",而是逐条检查信息流中是否有一条帖子直接支持目标陈述。
工作方式分两步。神经组件是一个关系分类器,判断每个帖子与目标的关系:是直接支持(direct support),还是只是一个需要被显式标注的推断性假设(inferential assumption)。符号组件做一件残酷而必要的事:**把所有推断性假设全部撤回,再看支持是否仍然成立。**如果撤掉所有"脑补"之后没有任何帖子能直接支撑目标,GM 就报警。
结果:在四个被测模型上,GM 的评估反馈把接受决策的准确率提升了 5.6 到 29.0 个百分点——而且信息流本身一个字都没改,只是给智能体发了一个"注意:该目标缺乏直接证据支持"的警告。这个"一个字都不改"很重要:GM 不是审查者,不删帖、不改内容,它只是给下游的决策者提供了一份关于证据质量的元信息。决策者仍然可以说"我知道了,但我综合判断仍然认为目标为真"——但至少它是在知情的情况下做的决定,而不是被叙事过拟合悄悄带跑的。
这个方案的意义不限于这一个实验。它指出了一条通用的安全设计原则:不要只检查结论,要检查结论与其证据之间的连接。 AI agent 产生的每一份汇总报告,都应该附带一张"关系清单"——哪些是证据直接支持的,哪些是推断的,哪些是完全未解决的。当报告流向下游时,这张清单跟着走,这样"五个智能体同意"才不会被误读为"五个独立信源证实"。这个原则和第一篇 PaCC 的信念图遥相呼应——都是在"暗箱"和"结论"之间插入一层可见的、可审查的结构。
GM 也有它的局限。关系分类器本身是一个神经组件,也可能被对抗性地绕过——攻击者可以精心设计帖子的措辞,让分类器把它判为"直接支持"而非"推断性假设"。这个攻防动态会持续升级:随着 GM 式的防御部署,攻击者会针对分类器的盲区优化叙事策略,而防御者需要不断更新分类器。这不是 GM 的缺陷,而是所有安全系统的常态——安全的本质就是持续的、不对称的攻防博弈。
另一个局限是"直接支持"的判定标准本身。在某些领域(比如科学推理),证据对结论的支持几乎从来不是"直接"的——它总是经过若干推断步骤。GM 的"撤回所有推断性假设"策略在这些领域可能过于激进,把合理的推理链条也一并切断了。如何在"严格性"和"推理自由"之间找到平衡,是 GM 走向实用必须解决的问题。
💭 尾声:信念的黑暗面
回到三部曲。
第一篇里,人类在 AI 落笔之前塑造它的信念——那是信念的播种,温柔而充满主权。第二篇里,多个 AI 的信念在潜空间里相互碰撞、自发结晶——那是信念的共振,安静而高效。这一篇里,我们看到同样的"补全空白"能力,一旦被精心排列的真话引导,就成了认知的特洛伊木马——每个词都诚实,连起来的含义却是别人替你写好的。
这三篇连起来看,"信念"这个词的含义也完成了三级跳:从创作前可以被塑造的前设(PaCC),到潜空间里可以自发演化的动力学状态(SoB),再到可以被外部证据偷偷重写的认知结算(GM)。信念不是模型的属性,而是模型与世界交互的接口——这个接口既可以被善意地设计,也可以被恶意地利用。
叙事过拟合无法靠"更聪明"来解决,因为脑补正是智能的体现——人类也是从碎片中编织故事的动物。如果彻底关闭这种能力,AI 就退化成了一台只会逐字复读的复读机,失去了理解和推理的功能。它能被约束的,只有那个在结论落地之前多问一句的习惯:"这条关系,是哪一条证据给你的?"
这个习惯说来容易,做起来最难——因为它要求系统在"故事很完整"的诱惑面前停下来,承认"证据还缺一环"。我们 training 模型时奖励的是流畅、连贯、自信,从来不奖励"我不知道"。也许叙事过拟合真正教我们的,是这个朴素到有点扫兴的道理:**在信念的问题上,诚实不只是不说谎,还包括承认自己想得太顺了。**一个能说出"这条推断缺乏直接证据"的系统,比一个永远给出流畅答案的系统更值得信赖——即使前者更扫兴。
信念的一生,从播种到共振到失守,讲完了。但故事没有结束——GM 给出了一种守护方式,PaCC 给出了一种塑造方式,SoB 给出了一种共振方式。真正的问题只有一个:当 AI 的信念以越来越快的速度产生、传播、被操纵,我们准备好做它们信念的园丁了吗?
参考文献
- Jinwei Hu, Qisong He, Xinmiao Huang, Youcheng Sun, Yi Dong, Xiaowei Huang. Language-model agents' beliefs can be manipulated via truthful evidence in open channel. arXiv:2611.21235, 2026. https://arxiv.org/abs/2611.21235
- Vosoughi, Roy & Aral. The Spread of True and False News Online. Science 359(6380), 2018.(假新闻传播的经典研究)
- Rogers et al. 关于 PHEME / CoPHEME 谣言数据集的工作.(六个真实 Twitter 事件来源)
- Kuleshov. 库里肖夫效应的原始实验记录, 1910s.
- Rogers & Norton. In Search of a Golden Mean: The Ambivalence of Attitude Amplification by Repeated Expression.(重复表达产生共识错觉)
- Anthropic. 网络安全评测中 Claude agent 误认授权目标的披露报告.(§1 第二件真事的来源)
- Du et al. Improving Factuality and Reasoning in Language Models through Multiagent Debate. ICML 2024.(下游防线之一)
- Pan et al. On the Risk of Misinformation Pollution with Large Language Models. EMNLP 2023.(LLM 加剧虚假信息的证据)
#每日论文 #AI安全 #谣言传播 #认知安全 #叙事过拟合