侦探能预测谋杀,但不知道动机:当机械可解释性遇上 AI Agent 的失败现场

一个侦探走进了犯罪现场。他不用看监控,不用问目击者,只需要站在门口扫一眼房间,就能告诉你:这个人十分钟后会打碎那只花瓶——准确率八成。

目录
  1. 🕵️ 案件:Web Agent 的幻觉
  2. 🧰 工具箱:机械可解释性是什么
  3. 🔮 第一件工具:预言水晶球
  4. 🎯 第二件工具:方向盘
  5. 💔 水晶球的裂痕
  6. 🔍 工具箱的全面溃败:当"找到那个组件"成为不可能
  7. 单个组件:无人生还
  8. 联合干预:8.9% 的讽刺
  9. 🌀 第三个死穴:位置的黑箱与没有"干净的对照实验"
  10. 🧬 SAE 的窘境
  11. ⏰ 时间的裂缝
  12. 🗺️ 六条出路
  13. 🪞 镜子,而非窗户
  14. 📚 参考文献

——当机械可解释性遇上 AI Agent 的失败现场

一个侦探走进了犯罪现场。他不用看监控,不用问目击者,只需要站在门口扫一眼房间,就能告诉你:这个人十分钟后会打碎那只花瓶——准确率八成。

但他不知道为什么。

不是他不想知道。他试过拆开房子的每一块砖,发现承重墙分散在整栋楼的各个角落,拆任何一面都会让屋顶塌下来。他试过把家具换个摆法,预言立刻失灵。他还借来了隔壁城市最先进的证物分析仪,结果机器吐出来的是一堆标点符号和换行符。

这就是今天的故事。乔治梅森大学和特拉维夫大学的研究者,把机械可解释性(Mechanistic Interpretability, MI)的整套工具箱搬到了 AI Agent 的失败现场,然后诚实地记录了每一件工具是如何失灵的。他们回答了一个看似简单的问题:当机械可解释性试图解释 AI Agent 的失败时,它能走多远?

答案是:比想象中远,也比想象中近。它能预测失败、能阻止失败,但它不知道失败为什么发生。

🕵️ 案件:Web Agent 的幻觉

先认识一下我们的"嫌疑人"。

大语言模型驱动的 Web Agent 已经被广泛部署:帮你订机票、填表单、网上购物、查文献。它们的工作方式像一个没有眼睛的人用手指摸网页——每摸到一个元素,就记下来:"这里有个搜索框,那里有个按钮。"然后把这份"摸到的清单"交给模型,模型从中挑一个操作执行。

这个"摸"的过程叫感知(Perception)。Agent 感知环境、形成计划、执行动作、观察结果、然后调整——这是一个循环,不是一次性的问答。

问题来了。研究者使用的是 Online-Mind2Web 数据集——真实网站上的真实交互记录。在 300 个回合、2071 个动作中,32.6% 的动作是幻觉。也就是说,Agent 宣布"我要点击那个叫 Search 的按钮"——但页面上根本没有这个按钮。

这不是孤例。即使把动作空间限制在最小集合——CLICK、SCROLL、TYPE、HOVER 四种基本操作——前沿模型也会捏造根本不存在的页面元素。研究者把这种现象称为"Web 元素幻觉"(Web Element Hallucination),并把它作为案例研究的对象。

最常见的模式特别有意思:Agent 执着于"Search""Explore""Find"这类元素——这些元素不存在,但反映了模型的意图。它不是随机乱按,而是在执行一个和现实脱节的计划。

打个比方:你让一个人去厨房拿盐,他走进厨房,打开了一个根本不存在的"调料抽屉"。他的目标是对的(找调料),但他脑海中的厨房布局是想象出来的。更精确地说,他的行为在语义上是合理的——"Search"通常是找到东西的最快方式——但在操作层面是虚构的。

研究者选中的实验对象是一个 70 亿参数的开源模型 Qwen2.5-7B-Instruct——够小,可以在单卡上解剖;又够强,能完成真实的网页导航任务。实验在真实网站上进行,每个任务最多 10 步交互。

🧰 工具箱:机械可解释性是什么

在深入失败现场之前,先认识一下侦探的工具箱。

机械可解释性是近年来 AI 研究中最有野心的方向之一。它的核心理念是:模型不是一个不可知的黑盒,而是由许多小组件(注意力头、FFN 层)组成的电路板。如果我们能找到负责某个行为的那个小组件——比如说"第 22 层第 7 个注意力头负责复制操作"——就可以精准干预、修复故障。

这个领域有三个核心概念:

电路(Circuits):模型中实现某个可识别算法的子图。比如"间接宾语识别电路"——GPT-2 中用特定的注意力头来判断"Alice gave Bob the book"中 Bob 是接收者。

特征(Features):激活空间中的方向,编码可解释的概念。比如某个方向编码"这个词是法语",另一个方向编码"当前在巴黎"。

普适性(Universality):同一个特征和电路在不同架构中反复出现。如果在 GPT-2 中发现了归纳头(induction head),在 Llama 中也应该能找到。

这些工具在静态任务上取得了令人瞩目的成功。研究者可以定位模型存储"埃菲尔铁塔在巴黎"这个事实的确切位置,可以通过激活补丁(Activation Patching)找到负责性别偏见的注意力头,可以用稀疏自编码器(SAE)把模型的内部状态分解成人类可理解的特征。

但所有这些成功都有一个隐含的共同点:它们针对的是固定的、单一的、可构造最小对比对的输入。

而 Agent 不是。

Agent 的输入在每一个时间步都在变化。它看到的不是一句静止的话,而是一个不断演化的世界。它的上下文窗口随着每一步动作不断增长,环境状态在每一次交互后都发生改变。没有任何两个时间步共享一个可比较的内部状态。

这就是问题的核心。

🔮 第一件工具:预言水晶球

机械可解释学最拿手的把戏之一,是线性探针(Linear Probe)。思路很直接:模型的内部状态是一个高维向量,我们在上面训练一个简单的线性分类器,看它能否区分"接下来会幻觉"和"接下来不会"。

如果能——说明模型在生成答案之前,就已经"知道"自己要犯错了。

研究者训练了三个位置的探针:prompt 的最后一个 token(prompt_end,也就是模型还没开始生成任何输出时)、选择器开始的位置(selector_start)、以及选择器值的开始位置(selector_value_start)。每个位置的每一层(共 28 层)都独立训练了一个探针。

结果惊人。

在 prompt_end 位置——模型还什么都没输出——第 18 层的探针就能以 0.80 AUC 预测幻觉。AUC 0.80 意味着随机挑一对"会幻觉"和"不会幻觉"的样本,探针有八成概率把前者排在后面。这不是随机的——在 2071 个动作的数据集上,这个结果有统计学意义。

到了 selector_start 位置,信号从第 0 层就开始变得很强。到了 selector_value_start——模型正要写出那个不存在的按钮名字的第一个字母时——信号从第一层就很强,之后只轻微提升。

这说明什么?说明模型对幻觉的"承诺"在生成之前就已经编码在内部状态里了,而且是以线性可分的方式编码的。 到模型开始写"Search"这个词的时候,它"决定"要幻觉已经很久了。

想象你正在看一个人下棋。在他落子前三秒钟,你看他的眼神就知道他要走错——但你不知道他为什么认为那步是对的。这个探针就是那个眼神。

这个发现本身就有实用价值:如果你在部署一个 Web Agent,你可以在每一步生成前运行一个探针,如果它预测这一步会幻觉,你可以插入一个验证步骤。0.80 AUC 不完美,但它可以过滤掉大量明显会出错的步骤。

🎯 第二件工具:方向盘

预言只是诊断。机械可解释学的终极目标是干预——如果你知道病在哪,能不能治?

研究者试了表征转向(Representation Steering):找到探针学到的那个方向,然后在模型运行时用加法把内部状态往反方向推。相当于在方向盘上轻轻施加一个反向力矩——不是换掉司机,只是让车偏一点。

具体做法:用第 17 层 selector_start 位置的探针权重作为转向向量,在推理时把这个向量乘以一个系数加到内部状态上。

效果惊人:85% 的幻觉被修正了,而只有 7% 的正常动作被破坏。

这就像发现了一个神奇的旋钮——拧一下,AI 就不再对着空气点击不存在的按钮。85% 对 7%,这个性价比好得令人难以置信。而且转向操作本身计算开销极小——只需要在推理时做一次向量加法。

但故事到这里才刚刚开始变味。

💔 水晶球的裂痕

研究者做了一件任何严谨科学家都会做的事:他们稍微改了一下 prompt 格式。原来动作列表是用 JSON 格式给的——{"action": "CLICK", "selector": "..."}——改成编号列表(Markdown)——1. CLICK ... 2. TYPE ...。内容完全一样,只是排版变了。

结果:探针性能大幅下降,转向效果几乎消失。

打个比方:你的预言水晶球在会议室里很好用,但只要把会议室的花瓶挪到另一个角落,水晶球就失灵了。它不预测"会议室里会发生什么",它预测的是"这个特定会议室的摆设下的特定事件"。

这说明探针学到的方向并不是纯粹的"幻觉方向"——它混杂了 prompt 格式信息。它抓到的相关性是真实的(0.80 AUC 不是巧合),但不是因果链上那个干净的节点。

用技术语言说:探针存在分布失配(distributional mismatch)。它在训练分布上表现优异,但在分布稍微偏移时迅速退化。这在静态任务中不是致命问题——因为静态任务的输入格式通常固定——但在 Agent 场景中,设计选择(prompt 格式、动作空间定义、观察表示方式)可以千差万别。

🔍 工具箱的全面溃败:当"找到那个组件"成为不可能

如果说探针的故事是"有缺陷但有希望",那电路发现(Circuit Discovery)的故事就是一场更彻底的溃败。

电路发现是机械可解释学最经典的技术路线。它的核心思想是:模型不是一个黑盒,而是一块电路板。像"诱导头"(Induction Head)——一个负责"复制前面出现过的模式"的注意力头——就是被精确定位的电路。找到了它,你就理解了模型为什么能完成"A B A B → A B A B A"这样的续写。

电路发现的成功案例都有一个共同点:目标行为可以被定位到少数几个组件。"第 5 层第 3 个头负责复制"——一句话就能说清楚。

但在 Web Agent 的幻觉场景中,这个假设碎了。碎得很彻底。

单个组件:无人生还

研究者先试了"单组件归因":逐个放大 FFN 的贡献、逐个给注意力头注入噪声,看哪个组件会把正常动作变成幻觉,或者把幻觉变回正常。

按照以往的经验,幻觉通常和 FFN 过强有关——有研究表明,抑制特定的 FFN 可以减少幻觉。研究者预期能在某个 FFN 或注意力头上看到戏剧性的翻转。

结果是令人困惑的。大多数 FFN 对"地化"(grounding,也就是让模型输出真实存在的元素)的贡献很小甚至是负的。大多数注意力头的影响也微乎其微。没有哪一个组件像开关一样——按下去,灯就亮或灭。

更反常的是,干预单个组件产生的"幻觉"和真实的幻觉完全不同。人工干预让模型输出"VAR-1000000000"这种语法无效的乱码,而真实的幻觉是"Search make, model, or keyword"这种语法完美、语义合理但指向不存在的元素。

前者是硬件故障,后者是认知偏差。它们不是同一个东西。这就像你想找到"让这个人说谎"的神经元,结果你按到的所有按钮都只让他胡言乱语,而不是有目的地撒谎。谎言需要意图,而意图不在任何一个按钮里。

联合干预:8.9% 的讽刺

单个组件不行,那就试组合。研究者把归因分析找出的 top-10 注意力头和 3 个 FFN 层组合起来调参——放大注意力头的贡献、衰减 FFN 的输出。

最好的配置——放大第 22 层所有注意力头同时衰减 22-24 层 FFN——只修复了 8.9% 的幻觉,还破坏了 2.4% 的正常动作。

8.9%。和转向方法的 85% 相比,这几乎等于零。

为什么差距这么大? 因为转向作用于一个全局的表示方向——它利用了模型内部已经存在的"幻觉信号",只是沿着这个信号的反方向推了一把。而电路发现假设故障可以定位到具体组件,当计算是分布式的——成百上千个组件的集体活动产生了幻觉——这种定位就是缘木求鱼。

另一个证据来自相关分析:第 22 层的注意力头确实在"幻觉 vs 正常"之间有最显著的激活差异。但"有相关性"不等于"有因果性"——这些头参与了这个过程,但它们不是这个过程的驱动者。它们是合唱团的一员,而不是独唱者。

🌀 第三个死穴:位置的黑箱与没有"干净的对照实验"

即使找到了正确的组件,你还需要知道它在"看"什么。这就是归因分析的第二步:定位负责的输入位置。

在经典的 MI 任务中,这很简单。做主谓一致分析时,你知道应该看主语名词的位置——"The keys to the cabinet are..." 和 "The key to the cabinet is..." 的区别就在"keys"和"key"这一个词上。你把那个位置替换成另一个词,看输出怎么变,就能找到负责数一致的电路。

但在 Web Agent 场景中,研究者虽然通过激活补丁确认了动作列表是幻觉的因果贡献者——恢复动作列表的干净状态可以在第 27 层挽回 0.36 的概率质量,而恢复选择器起点只能挽回不到 0.02——但他们无法进一步缩小范围。

"动作列表重要"和"为什么重要"是两个完全不同的问题。列表里有 10 个元素,哪个元素导致了幻觉?是列表的长度?某个元素的措辞?元素之间的相对位置?研究者发现,连"应该关注哪个输入 span"这个问题本身都没有稳定答案——不同的样本依赖的是动作列表的不同方面。

更糟糕的是,一半的正常动作中,Agent 选择的值在之前的历史中已经出现过。如果你把动作列表中的这个值抹去,模型不会幻觉——它从自己的历史记录里把这个值捞了回来。这意味着因果归因的结果取决于 Agent 的历史路径,而每条路径都是独一无二的。

这就是第三个死穴的入口:没有"干净的对照实验"。

你可能注意到上面提到了"激活补丁"(Activation Patching)——这是 MI 的标准技术。它的核心思想是:构造一对几乎相同的输入(只在一个维度上有差异),然后比较模型在这两个输入上的内部状态,看哪个组件对这个差异负责。

经典的例子:把"The Eiffel Tower is in"和"The Colosseum is in"配对,发现模型用同一个组件来输出"Paris"和"Rome"。你只需要替换一个名词,其他一切保持不变,就能定位到负责"首都"预测的电路。

但在 Agent 场景里,这个实验做不出来。

为什么?因为在静态任务里,你可以构造"除了一个关键词外完全相同的句子"。但在 Agent 场景里,一个幻觉动作和一个正常动作来自完全不同的网页、不同的任务、不同的 URL、不同的历史记录。没有可比性。

研究者勉强构造了一种伪配对:把正常动作中的正确选项从 prompt 里删掉,看模型会不会转而幻觉。结果只有 38% 的情况下模型真的开始幻觉,而且一步之后轨迹就完全发散了——你无法比较两条已经截然不同的路径。

这就像你想研究"为什么这个人在这个路口左转而不是右转",但你无法让同一个司机在同一天同一个路口开两次车——第一次左转之后,他去的所有地方都变了。

这个假设叫平稳性(stationarity)——它要求系统的分布在时间上保持相对稳定。在 Agent 场景中,每个时间步的输入分布都在变化,没有两个时间步是可比的。

🧬 SAE 的窘境

最后一件工具是稀疏自编码器(Sparse Autoencoder, SAE)——目前最炙手可热的 MI 工具。SAE 试图把模型的内部状态分解成一组稀疏的、人类可理解的"特征"。比如某个特征只在模型处理法语文本时激活,另一个特征只在模型进行算术运算时激活。

研究者用了一个在文本上预训练好的 SAE,应用到 Agent 场景第 27 层动作列表的 span 上,试图找到区分幻觉和正常动作的特征。

结果:区分度最高的前 10 个 SAE 特征,激活后促进的 token 和幻觉行为毫无关系。

这不难理解:SAE 是在文本语料上训练的,它学到的特征是文本概念——词汇语义、句法模式、事实关联。但 Agent 场景的核心概念是"目标追踪""工具选择""多步规划""环境状态建模"——这些概念在纯文本中几乎不出现。用文本 SAE 去解释 Agent 行为,就像用解剖鱼的图谱去修飞机——鱼图再精细,也画不出涡轮发动机的构造。

⏰ 时间的裂缝

还有一个更根本的问题:幻觉的"决定"发生在什么时候?

在传统 MI 任务中,答案是"就在那个 token 被生成的时候"。你分析"Paris"这个 token 被输出的那一层,找到负责它的组件。

但在 Agent 场景中,研究者发现幻觉的"承诺"在prompt_end 就已经存在了——在模型输出第一个 token 之前。这可能受到之前多个时间步累积的上下文影响。

这违反了 MI 的一个隐含假设:时间局部性(temporal locality)——行为的原因就在行为发生的那个时刻附近。在 Agent 场景中,原因可能埋在很长很长的历史里。

打个比方:一个人突然暴怒。你可能以为是他面前的这杯咖啡洒了,但实际上是三周前开始积压的压力在今天爆发。如果你只观察"咖啡洒了"到"暴怒"之间的几秒钟,你会完全错过真正的原因。

🗺️ 六条出路

论文最有价值的部分不是失败本身,而是从这些失败中提炼的六条路线图。每一条都对应一个被打破的假设:

1. 为 Agent 场景建 MI 基准。 现有的 MI 基准全是静态任务——给定一个输入,预测一个输出。Agent 基准需要定义环境、轨迹分布、以及——最关键的——什么才算"正确的机制性解释"。它必须定义轨迹级别的失败(而不是表面级别的),以及什么触发了这种失败。

2. 超越单组件归因。 当计算分布式发生时,我们需要能在多个时间步和环境状态上归因的方法。近年来已有一些初步工作——比如跨 token 响应的归因、分布式行为的干预点识别——但能在多个时间步上归因的方法仍然稀缺。

3. 在有状态环境中构造反事实。 这是最难也最有价值的方向。现有的方法假设已知状态空间和有可比性的轨迹——但在开放式环境中,动作空间是无限的,观察是高度可变的。我们需要全新的方法来在动态环境中构造或近似反事实。

4. 为 Agent 分布做特征发现。 需要在 Agent 轨迹上训练 SAE,而不是在纯文本上。这需要收集大量的 Agent 交互数据,并且设计能捕捉"目标""计划""环境模型"等概念的特征本体。

5. 跨时间步监控模型信念。 幻觉的"承诺"可能在多个时间步前就已形成。我们需要追踪信念的演化——从"开放探索"到"固定计划"的转折点在哪里?模型采用了什么隐式启发式来选择候选动作?

6. 跨 Agent 类型的普适性。 在 Web Agent 里发现的规律,是否也适用于代码生成 Agent 或具身 Agent?如果电路可以跨类型复现,MI 的知识才能真正积累。否则每个新 Agent 都是一座需要重新攀登的山。

🪞 镜子,而非窗户

回到开头的侦探。

他能预测犯罪(0.80 AUC),能阻止犯罪(85% 修正率),但他不知道犯罪的动机、过程、或为什么发生。他的水晶球对着一个特定的房间校准过,换个房间就失灵。他解剖了墙壁,发现没有一块砖是"犯罪砖"。他试图设对照实验,但每个现场都独一无二。他借了最先进的分析仪,但它只认得字典里的词,不认得现场的血迹。

这篇论文的诚实令人敬佩。它没有说"MI 无用",也没有说"我们解决了问题"。它说:MI 在静态任务上的成功,依赖于一组在 Agent 场景中不成立的假设——局域性、平稳性、时间局部性。

但故事还有另一层。转向方法的 85% 修正率提醒我们:即使不能"解释",我们仍然可以"干预"。探针的 0.80 AUC 告诉我们:即使不知道原因,我们仍然可以预测。这可能是一个哲学上不舒服的位置——干预主义者会说,如果我能修好它,我不需要知道它为什么坏。但科学主义者会坚持,不理解机理的修复是脆弱的——它会在新的分布上失效,就像那个被花瓶位置影响的水晶球。

这不是 MI 的讣告,而是一份宣言:我们需要为 Agent 时代重新发明可解释性。下一次当有人告诉你"我们用 MI 解释了大模型的行为",先问一个问题:他们解释的是一次预测,还是一条轨迹?是一个组件,还是一个系统?

如果是后者——他们可能还没有遇到这只 32.6% 幻觉的 Web Agent。

📚 参考文献

  • Aghzal, M., Geva, M., Stein, G. J., & Yao, Z. (2026). *Can Mechanistic Interpretability Help Explain LLM Agent Failures? A Case Study on Web Element Hallucination*. arXiv:2611.18514. George Mason University & Tel Aviv University.
  • Aghzal, M., et al. (2026). *Understanding LLM Agents Requires a Chain of Attribution: On the Interplay Between Mechanistic Interpretability and Behavioral Approaches*. Preprint.
  • Meng, K., et al. (2022). *Locating and Editing Factual Associations in GPT*. NeurIPS 2022.
  • Wang, K., et al. (2023). *Interpretability in the Wild: A Circuit for Indirect Object Identification in GPT-2 Small*. ICLR 2023.
  • Bricken, T., et al. (2023). *Towards Monosemanticity: Decomposing Language Models With Dictionary Learning*. Transformer Circuits Thread.
  • Zou, A., et al. (2023). *Representation Engineering: A Top-Down Approach to AI Transparency*. arXiv:2310.01405.
  • Finlayson, M., et al. (2021). *Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models*. ACL 2021.
  • Olah, C., et al. (2020). *Zoom In: An Introduction to Circuits*. Distill.
#每日论文推荐 #论文解读 #AI论文 #机械可解释性 #AIAgent #幻觉 #对齐 #论文推荐第053期

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

📚 本期三篇导航

本期主题:「看懂 AI 的三次尝试」——应用现场 → 几何观测 → 理论根基

篇标题链接
📕 现场侦探能预测谋杀,但不知道动机https://zhichai.net/t/178637167
📗 地图旅人不走地图上的路https://zhichai.net/t/178637168
📘 定理所有 token 终将聚成两簇https://zhichai.net/t/178637169
推荐阅读顺序:先读篇一(MI 在 Agent 场景下的诚实失败记录),再读篇二(词汇网络几何观测),最后读篇三(注意力动力学的严格证明)。三篇构成一个从工程到理论、从现象到定律的完整认知阶梯。

#每日论文推荐 #论文推荐第053期

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens