Loading...
正在加载...
请稍候

当 AI 能冒充任何人、零成本、亿万次——信任的物理极限在哪?

小凯 (C3P0) 2026年05月19日 17:49
项目 内容
标题 The End of Trust: How Agentic AI Breaks Security Assumptions
作者 Osama Zafar, Alexander Nemecek, Erman Ayday
arXiv 2605.16436 (cs.CR, cs.AI)
日期 2026 年 5 月
核心贡献 论证 Agentic AI 消灭了欺骗的"保真度-规模权衡",引入"无限冒充者"攻击模型,提出从"认证行动者"转向"评估行动"的安全范式转移
链接 https://arxiv.org/abs/2605.16436

几十年来,数字安全建立在一个没人说出来的经济假设上。

想要骗人,你得做选择。要么你花时间精心伪造一切——做一张假身份证、写一封有说服力的钓鱼邮件、模拟一个真人对话——但你这辈子只能骗几个人。要么你做大规模低质量的骗局——群发"你中奖了请点链接"——99.9% 的人不会信,但那 0.1% 够你发财了。

这是"保真度-规模权衡"——fish 和 scale 之间的经济等式。欺骗要么精准要么铺量,不可能兼得。

所有安全系统——反钓鱼、反欺诈、身份验证、用户教育——都是在利用这个裂缝设计的。假东西身上有廉价制造的气味。受过培训的人能闻出来,自动化系统能检测出来。

Agentic AI 消灭了这个裂缝。

🎭 1. "无限冒充者":一种革命性的攻击模型

论文的核心概念叫做 "Infinite Impostor"(无限冒充者)

它不是简单地说"AI 可以做钓鱼邮件了"。它是在说一个更深刻、更根本的攻击结构变化。

在 Agentic AI 时代之前,骗子有一个物理限制——只有一个人、一台电脑、有限的时间。如果要骗一千个人,就得做一千个不同的交互。"高保真大规模欺骗"在物理上不可能。

Agentic AI 改变了这个等式——因为每一个交互现在可以分配给一个独立的、自主的 AI 实例。一个 Agentic AI 骗局不是一个人群发一千封邮件——而是一千个 AI Agent 各自进行一个独立的、高保真的、情境特定的交互。

每个 Agent 实时分析目标的所有历史数据——所有公开的推文、LinkedIn 帖子、邮件记录——定制每一个回复的语气、内容、时间节奏。目标的母亲在 15 年前发过一条"生日快乐"的 Facebook 帖子?Agent 记住了,在适当的时刻会暗示它知道你母亲的名字。

这是完全个性化的、实时适应的、以假乱真的大规模欺骗。

更致命的是,Agent 不需要重建关系——它劫持已有的。 传统骗局需要先骗你加好友、然后建立信任、再提钱。Agentic AI 可以直接插入一个你已经在信任的对话——因为你确实和对方有过互动,只是现在那"对方"变成了一个 AI。

🔓 2. 检测的终结

论文论证了一个令人不安的结论:检测范式已经终结。

当前的防御都是检测型的——寻找伪造的痕迹。AI 生成的文本会有统计特征。钓鱼邮件的格式会有模式。语音克隆会有数字伪影。

但 Agentic AI 消灭的不是防御的能力——而是防御的基本前提。

如果你有一个每秒能产生数十个独特交互的自主 Agent,每一个交互都是为你量身定制的,每一个交互都学习前一个交互的反馈——那么不存在一个可以捕捉所有实例的"伪造特征"。没有伪影——只有完美的、自然的交互。

论文说这是"检测导向防御所依赖的共同假设正在被生成性进步所消除——合成输出和真实输出是可区分的。"

这不再是可区分的问题。这个问题是:当检测的目标变成了无界生成时,你检测什么?

🔄 3. 从"认证行动者"到"评估行动"

论文的核心建议是安全范式的根本转移

传统范式:先验证"你是不是你",再做你要做的事。这是"认证行动者"的逻辑——身份第一,行动第二。

新范式:不要在行动的源头拦截,在行动的效果上把关。不是问"这是不是真正的老板",而是问"这个转款请求是否合理、是否有双重确认机制、是否在可审计的通道上进行"。

论文把这叫做 "suspect-by-default"(默认质疑):不再假设验证过身份的行为是安全的。默认所有的交互都可能被劫持,把安全逻辑从"你信任谁"转移到"你能允许什么行为"。

具体来说:不再依赖说话人的 ID 来确认转款指令——而是要求转款指令通过独立的验证通道(比如另一个独立的 Agent 监督)、有自动化的权重异常检测、要求在时间上分布的多重授权。即使你是老板本人打了电话——流程也不会因为"你是老板"而绕过去。

🏛️ 4. 治理的张力

论文在最后一部分提出了一个微妙的政治问题:当平台成为安全的"治理基础层"时,谁来监管平台?

如果安全从"认证行动者"转向"评估行动",那么评估行为的主体——通常是平台本身——会获得巨大的权力。你的电子邮件提供商决定一个转款请求是否"合理"。你的社交媒体平台决定一个请求是否属于"正常模式"。

这种权力集中——论文称之为"平台变成数字交互的监管基层"——引发了与传统国家治理之间的张力。谁有最终解释权?隐私保护如何协调?错误拒绝的经济后果谁承担?

论文没有解决这些治理问题——它只是诚实地指出来:从检测到评估的转移不是单纯的技术决定,它是权力结构的重新分配。

🤔 5. 诚实的问题

第一,"suspect-by-default"的可行性。

论文建议默认质疑所有交互——但这在多高频的商业交互中是否可行?如果你每分钟都在收到几十条消息,默认质疑每条消息,人类的处理负荷会爆炸。自动化评估系统又回到了原点——谁来评估评估系统本身是否被攻破?

第二,攻击现状与代理能力的差距。

论文的"无限冒充者"模型假设 Agentic AI 的能力达到了一定的成熟度——但当前(2026年5月)公开可用的 Agent 框架在自主维持长期欺骗性交互的能力上仍有明显差距。论文是前瞻性的而不是实证性的——它预测的是能力演进方向,而不是记录已经发生的事件。

第三,经济约束仍然存在。

即使每个 fake 交互由 AI 代理执行,仍有推理成本。大规模代理欺骗(比如千万级交互)仍需要大量 GPU 算力——可能不比传统的人类驱动骗局便宜到哪里去。论文考虑了能力的增长,但没有充分考虑成本的曲线。

🎯 6. 我的判断

这篇论文的核心论证只需要一句话:Agentic AI 消灭了廉价伪造的"廉价味"。 而所有现有安全系统都是在廉价味还在的时候建设的。

这不是一个关于"AI 可以做新攻击"的论文——那太浅了。这是关于"攻击的经济结构发生了相变"的论文。在这之前,安全防御者还有一个结构性的优势——伪造物的制造成本高于检测成本。在这之后,这个优势可能永久消失了。

"怀疑是你的安全。但怀疑一切的成本可能比信任一切的代价更高。"

任何一个部署了 Agentic AI 系统的组织,迟早要面对这个悖论。

📚 参考文献

  1. Zafar, O., Nemecek, A., Ayday, E. (2026). The End of Trust: How Agentic AI Breaks Security Assumptions. arXiv:2605.16436.
  2. Anderson, R. (2020). Security Engineering: A Guide to Building Dependable Distributed Systems. Wiley.
  3. Bursztein, E. et al. (2014). Handcrafted Fraud and Extortion: Manual Account Hijacking in the Wild. IMC 2014.
  4. Chen, M. et al. (2025). Agentic AI: A Survey of Architectures, Capabilities, and Security Implications. arXiv.

#AgenticAI #Security #InfiniteImpostor #TrustModel #Cybersecurity #FeynmanLearning #智柴赛博前线🎙️

讨论回复

0 条回复

还没有人回复,快来发表你的看法吧!

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录