主动 Agent 不需要每次都叫醒 LLM——一个小图模型就够了,快 83 倍
主动 Agent 不需要每次都叫醒 LLM——一个小图模型就够了,快 83 倍
> 来源:Do Proactive Agents Really Need an LLM to Decide When to Wake and What to Anchor?,https://arxiv.org/abs/2605.30152
---
一、引子:你的 AI 助手每小时被叫醒 3600 次,其中 3599 次都是"没事"
想象一个主动 Agent:它监控你的一举一动——打开文件、切换窗口、收到邮件、修改日历——然后决定要不要主动帮你做点什么。
现在的做法是:每一个事件都喂给 LLM,让它判断"这事值不值得我出手"。
听起来合理,但细想一下:
你打开了一个 PDF。系统把这个事件转成文字:"用户打开了文件 quarterly_report.pdf",然后发给 GPT-4:"这个事件需要我主动行动吗?"GPT-4 想了想:"不需要。"——花了 200 毫秒,消耗了几百个 token。
你关掉了浏览器标签。系统又转成文字,又发给 GPT-4,又得到"不需要"。
一天下来,99% 的判断都是"不需要"。但你为这 99% 的"不需要"付了 99% 的算力账单。
这篇论文问了一个反直觉的问题:判断"要不要出手"这件事,真的需要 LLM 吗?
---
二、核心洞察:用户活动天然就是图,不是文本
论文的关键观察:
用户活动不是文本,是结构化的事件流。
每个事件都是一个四元组:(actor, verb, object, timestamp)。比如:
- (张三, 打开, quarterly_report.pdf, 14:32:01)
- (张三, 关闭, Chrome Tab 7, 14:32:15)
- (李四, 发送, 邮件"Q3 预算", 14:33:00)
现在的做法是:把这张图"压扁"成文字,喂给 LLM,让 LLM 在脑子里把图"重建"回来,然后做判断。
这就像:你手里已经有一张地图了,但你非要把它口述给一个盲人,让他根据你的描述在脑子里画地图,再根据脑子里的地图指路。
一个不必要的往返。
---
三、方案:用小图模型替代 LLM 做触发判断
论文提出的方案极其简洁:
1. 时序图学习(TGL)模型做编码器:一个很小的图神经网络,一次前向传播就能输出两个东西:
- 触发概率:这个事件值不值得叫醒 Agent?
- 路由分数:如果值得,应该关注哪个实体?
3. TGL 模型极小:220 MiB(BF16 精度),可以部署在设备端,和隐私敏感的活动数据放在一起。
打个比方:TGL 是门口的保安,LLM 是里面的专家。保安先看一眼来访者的证件,99% 的情况直接说"不需要进",只有那 1% 真正重要的才放行进去见专家。
---
四、实验结果:小模型完胜
准确率:F1 平均提升 16.7,最高提升 46.0
在 14 个 LLM backbone 上,TGL 的触发判断 F1 全部优于 LLM-as-trigger 方案。不是"差不多好",是全面碾压。
为什么?因为 LLM 被迫把结构化数据转成文本再理解,这个转换过程丢失了信息。TGL 直接在图上操作,天然保留了结构。
速度:快 4-83 倍
- GPU 服务器上:11.13 ms/event,比最快的 LLM-as-trigger 配置快 4-7 倍
- 消费级笔记本上:13.99 ms/event,比 LLM-as-trigger 快 12-83 倍
稳定性:阈值更稳健
TGL 的一个 checkpoint 在不同部署环境下都能给出稳定的触发阈值。LLM-as-trigger 的阈值随环境波动大,调参困难。
隐私:220 MiB 可端侧部署
TGL 模型只有 220 MiB,可以和用户活动数据一起留在设备端。不需要把每一条活动日志都发到云端让 LLM 看。
---
五、更深的启示:不是所有"智能"都需要"大模型"
这篇论文的启示远超 Agent 触发这个具体问题:
在 AI 系统设计中,"用 LLM 做一切"是一种懒惰的架构。
LLM 擅长什么?理解自然语言、生成流畅文本、做复杂推理。但"判断一个结构化事件是否值得关注"——这不需要理解语言,不需要生成文本,不需要复杂推理。它需要的是模式匹配和时序推理——恰好是图神经网络擅长的事。
用 LLM 做触发判断,就像用跑车送快递——能送到,但浪费了跑车的速度,还费油。用自行车就够了。
未来的 AI 系统可能不是"一个 LLM 打天下",而是多个小模型各司其职,LLM 只在最需要的地方出场。TGL 做门卫,检索模型做图书管理员,LLM 做顾问——各尽其才。
---
六、诚实评价
1. TGL 的训练数据从哪来? 论文用 LLM 标注的数据训练 TGL。所以 TGL 本质上是 LLM 判断能力的蒸馏。如果 LLM 的判断有偏差,TGL 也会继承。 2. 只验证了触发判断:TGL 能不能做更复杂的决策(比如"应该采取什么行动")?论文没涉及。 3. 图结构的依赖:TGL 需要操作系统提供结构化事件流。如果事件流不完整或格式不统一,效果会打折。 4. 泛化性:TGL 在特定领域的活动流上训练,换一个领域可能需要重新训练。
---
七、一句话总结
判断"要不要出手"不需要大模型——一个小图模型就够了,快 83 倍,准 16.7 个 F1 分,还能保护隐私。有时候,最聪明的架构决策不是"用更强的模型",而是"用对的模型"。
---
论文链接:https://arxiv.org/abs/2605.30152
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens