想象你在社交媒体上看到一条帖子:"地球是平的,NASA 一直在骗我们。"
这是一个阴谋论吗?如果发帖人是认真的,是的。但如果他是在嘲讽阴谋论者呢?如果他在一个讽刺讨论组里发这条,配了一张地平说 meme 图呢?
同一个表面内容,可能表达认同、合理担忧、批评、讽刺或嘲弄。只看文字内容无法区分——这正是阴谋论检测的核心难题。
希伯来大学的 Klein、Shapira 和 Hirsch 在《Agentic Detection of Online Conspiracies》中提出了一个解决方案:不要只分析文字,要推断说话者的意图。
言语行为理论的回归
这篇论文的理论根基是 1962 年 Austin 的言语行为理论:一句话不只是描述事实,它还在做事——认同、质疑、嘲讽、说服。同一个命题"疫苗有害",可以是:
- 认同:说话者真的相信疫苗有害
- 合理担忧:对疫苗安全性有基于证据的疑虑
- 批评:反对反疫苗叙事
- 讽刺:用反话嘲讽反疫苗者
- 嘲弄:模仿阴谋论者的话来取笑他们
传统分类器只看文字内容,把所有提到"疫苗有害"的帖子都标记为阴谋论。这就像把所有提到"火"的人都当成纵火犯——有人是在喊"着火了",有人是在讨论消防安全,有人是在讲笑话。
智能体框架:工具增强的意图推断
作者构建了一个基于 LangGraph 的智能体框架,核心思路是:不只看文字,还要查询上下文。智能体可以按需调用三类工具:
用户历史工具:查询发帖者的历史行为。这个人以前发过什么?他经常讽刺吗?他关注什么话题?
社交网络工具:查询发帖者的社交关系。他关注谁?谁关注他?他在什么社群里?
帖子上下文工具:查询这条帖子的对话线程。这是回应谁?讨论的起点是什么?
智能体的工作流程是:先读帖子,判断是否需要更多上下文;如果需要,选择合适的工具查询;根据查询结果更新判断;可能再查一轮;最后给出分类。
这和人类判断的方式一致:我们看到一句话不确定意思时,会去看这个人的主页、看他在回复谁、看他的粉丝群体。
关键发现:上下文的价值
实验结果揭示了几个有意思的现象:
整体提升显著。纯文本 LLM 的 F1 只有 0.535,完整智能体框架达到 0.73——提升了 37%。但更有意思的是细节:
用户历史是最有价值的单一工具。只用用户历史(F1=0.698)比把所有上下文一次性塞给模型(F1=0.670)还好。这说明智能体按需查询比信息轰炸更有效——模型不需要所有信息,它需要的是在正确时刻获取正确信息。
上下文有时反而有害。78% 的智能体错误是假阳性——它把非阴谋论误判为阴谋论。作者指出:"有时候文字应该按字面意思理解,不完整或过度依赖上下文可能扭曲解读。"
双智能体辩论效果最差。让两个智能体辩论后给出判断(F1=0.558),只比纯文本好一点。辩论框架引入了更多噪声而非更多洞察。
"对抗性"数据集的挑战
作者特别强调他们的数据集是"对抗性"的——非阴谋论样本中包含了大量表面语言和阴谋论相似的帖子(讽刺、嘲弄、批评)。这更接近真实场景。
在简单数据集上(阴谋论和正常帖子区分明显),纯文本分类器就能做得很好。但在真实世界中,难的不是识别"地球是平的"这种明显阴谋论,而是区分"地球是平的(认真)"和"地球是平的(讽刺)"。
完整智能体在对抗性数据集上的假阴性从 58 降到 30,假阳性从 142 降到 76。上下文帮助识别了两类错误:既帮助确认了真正的阴谋论,也帮助排除了表面相似但非阴谋论的帖子。
Token 经济:智能体 vs 信息轰炸
作者做了一个有趣的"token 经济"分析:智能体框架和"把所有上下文一次性给模型"相比,谁的性价比更高?
结果:智能体框架用更少的输入 token 达到了更好的效果。按需查询避免了无关信息的干扰,也节省了计算成本。这和"判断-闸门解耦"的思路一致——先判断需要什么信息,再获取什么信息,比一股脑全给更有效。
我的看法
这篇论文的核心洞察是:内容分类需要意图推断,意图推断需要上下文,上下文获取需要智能体。这不是简单的 RAG——RAG 是"检索相关信息补充到 prompt 里",智能体是"主动判断需要什么信息、去哪里找、找到后怎么用"。
78% 的错误是假阳性这个发现值得深思。它说明模型在面对模糊内容时倾向于"有罪推定"——宁可错杀不可放过。这和人类审核员的偏差一致:当你被告知"找出阴谋论",你会对任何可疑内容都提高警惕。但正确的做法应该是"无罪推定"——除非有足够上下文证明是阴谋论,否则按字面意思理解。
双智能体辩论效果最差这个发现也值得记住。两个智能体辩论不是"两个专家讨论",更像是"两个固执的人吵架"——它们会强化自己的立场而非收敛到正确答案。这和 Milgram 权威服从实验的跨域类比一致:多智能体系统不是自动比单智能体好,关键在于交互结构设计。
论文:Klein, E., Shapira, B., & Hirsch, L. (2026). Agentic Detection of Online Conspiracies. arXiv:2609.30250
链接:https://arxiv.org/abs/2609.30250
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。