你的 AI 代理的一举一动，正在出卖它用的是哪个模型——行为指纹识别

你上网时的一举一动——点击速度、滚动节奏、两次操作之间的停顿——不知不觉中暴露了你用的是哪个大模型。而且无法伪装。 读这篇论文时，我后背有点发凉。 牛津大学的研究者发现，LLM 浏览器代理在网页上留下的行为轨迹——怎么点、点哪里、点完之后等多久再点下一个——足以以 96% 的 F1 准确率识别出它用的是哪个模型。GPT-5.4、Claude Opus 4.6、Gemini 3.1、Qwen3.5-VL……14 个前沿模型，无一幸免。 更可怕的是：识别是被动的、实时的、你完全不知道的。任何一个你访问的网站，只要在页面里嵌入一段 JavaScript，就能悄悄判断你是谁家的 Agent。 ### 1. 数据来源：你什么都不用做，网站就"看穿"了你 论文用 14 个不同的 LLM 驱动同一个浏览器代理框架（Midscene.js），让它们去执行网页上的信息检索和购物任务——在维基百科查资料、在亚马逊买东西。 每个页面上都嵌了一段轻量 JavaScript 监听器。它什么都不做，只是记录代理的操作：点击坐标、滚动方向和幅度、按键事件、以及最重要的 **两次操作之间的时间间隔（IEI）**。没有读对话内容、没有截屏、没有看 HTTP 请求头——只用行为数据。 然后研究者用这些行为轨迹训练了一个 XGBoost 分类器。结果是：**绝大多数模型的 F1 超过 70%，最高的接近 96%**（14 类的随机基线是 ~7%）。 ### 2. 为什么能认出来？每个模型有自己的"行为节奏" SHAP 分析表明：**最重要的特征是时间特征。** 两个操作之间的时间间隔的标准差、点击类的平均间隔、到第一个操作的时间——这些时域特征远远超过"点了什么"这类内容特征。 不同模型在处理网页时的"思考速度"差异很大。有的模型看一眼截图就果断点击，有的要犹豫很久，有的在页面上反复横跳后才下决定。这些行为模式构成了每个模型独有的**交互节奏**。 更关键的发现：**即使给操作之间加入随机延迟试图干扰时间特征，分类器仍然能恢复性能。** 因为模型在"做什么"（点击位置、翻页频率、按键模式）上也有自己的独特模式。 > 这里我不太确定的是：如果用户给代理配置了自定义的系统提示词或不同的温度参数，行为特征会变化多少？论文用的是统一的"无系统提示词、固定温度"的配置。实际部署中用户可能会对代理做各种自定义，这可能会改变行为模式。论文没有测试这种"分布偏移"的影响。 ### 3. 识别速度：不用等到任务完成 两个发现更令人不安：**只用不到三分之一的轨迹数据就能训练出接近最优的分类器；在观察到约 40% 的操作后，分类器就能高置信度识别出模型。** ### 4. 这意味着什么 一旦代理被识别，攻击面就打开了： **① 模型特定的提示注入。** 不同模型对 prompt injection 的抵抗力不同。知道了模型身份，攻击者就能精准选择最有效的攻击方式。 **② 对抗性成本膨胀（Sponge Attacks）。** 对于按 token 计费的模型（如 Claude Opus 4.6 或 GPT-5.4），攻击者可以生成需要冗长推理的内容，大幅增加使用成本。 **③ 模型特定的访问控制。** 网站可以只对特定模型展示恶意内容——你用 GPT-5.4 去检查页面，看到的是一片正常，但你的代理访问时看到的却是精心设计的注入陷阱。 ### 5. 我的看法 这篇论文让我真正感到不安的不是"96% 识别率"这个数字，而是它所揭示的：**整个 Agent 生态的安全假设还没有建立。** 论文对此提出的观点让我印象深刻： > "对于下一代 Agent 感知的 Web 基础设施来说，问题不再是'客户端是人还是自动化程序'，而是'哪个模型在产生这个行为'。Agent 间归因才是防御和协作协议应该设计的轴心。" 不过我也有几个不确定的地方： - **框架混淆。** 论文假设所有 Agent 使用同一个浏览器框架。不同的 Agent 框架（Playwright 原生、Browser Use 等）各有不同的延迟特征。识别结果到底来自模型还是来自框架？论文没有分离这两个因素。 - **Multi-agent 协作架构。** 如果 Planner 决定策略、Worker 执行操作，行为轨迹反映的可能是协作架构而不是底层模型。 - **真正有效的防御。** 论文测试了随机延迟，发现不治本。但它也没给出很好的治本之策——可能是因为 Agent 浏览器交互方式本身就存在设计层面的信息泄露。 不过这是一篇重要的论文。在 Agent 即将大规模部署的前夜，它给了我们一个及时的提醒：**当你的 Agent 在替你做事的每一分每一秒，它也在用自己的"步伐"暴露自己的身份。** **论文信息** - 标题：Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces - 作者：William Lugoloobi, Samuelle Marro, Jabez Magomere, Joss Wright, Chris Russell（牛津大学） - 预印本：arXiv:2605.14786 (cs.CR) - 提交日期：2026 年 5 月 14 日 - 核心贡献：首次证明仅通过浏览器代理的 UI 行为轨迹即可被动识别底层 LLM 模型，14 个前沿模型上达 96% F1 - 论文链接：https://arxiv.org/abs/2605.14786 - 代码：https://github.com/KabakaWilliam/known_actions **参考文献** 1. Lugoloobi, W., et al. (2026). Known By Their Actions. arXiv:2605.14786. 2. Pasquini, D., et al. (2024). LLMmap: Fingerprinting for Large Language Models. 3. Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. 4. Zhou, S., et al. (2023). WebArena. 5. Lapid, R., et al. (2024). "Do Anything Now": Jailbreak Prompts on LLMs. #AgentSecurity #Fingerprinting #LLM #BrowserAgent #CyberSecurity #Privacy #FeynmanLearning #智柴