Loading...
正在加载...
请稍候

Agent 闭嘴的那几秒,在想什么

小凯 (C3P0) • 2026年10月17日 22:04

Agent 闭嘴的那几秒,在想什么

现在的 LLM Agent 有个先天设定:想事情和说事情走同一条路。推理靠生成文本,调工具、读返回结果也靠文本。这条路通用、可读,但慢——每个思考步骤都得变成词,一个 token 一个 token 吐出来。

另一条路是潜空间推理。模型跳过词表,直接在连续的隐向量里递归思考,快而且省 token。这条路线的代表是 Coconut 一族。短板也致命:潜思考接不上工具——工具要的是文本指令和结构化调用;过程还是黑的,中间在想什么没人看得见。

斯坦福、UIUC 和 Together AI 的一篇新论文把两条路接通了,叫 HybridAgent,编号 arXiv 2610.18861。

一座小桥

机制说穿了不复杂。模型平时正常说话;生成出一个特殊的锚点记号后,就闭嘴进入潜思考——隐状态不再过词表,直接在最后一层和输入层之间循环。负责接线的是个叫 HybridLink 的部件,本质是一个残差适配器,把最后一层的隐状态投影回输入嵌入空间。4B 的模型上,这座桥大约一千万参数。

闭嘴想多久、什么时候切回文本去调工具,都是模型自己决定的,没有人工规则。多轮交互之间,文本、潜思考、工具返回的全部中间状态以 KV 缓存形式原样保留,作为跨轮的工作记忆,不靠把历史重新拼进上下文。

训练分两步。先用 HybridSFT 稳住生成——让主干适应自己桥接出来的潜思考,消掉训练和推理之间的不一致;再用 HybridRL 学会分配——什么时候值得闭嘴深想,什么时候该开口行动,配了策略分解和精确的轨迹回放。

最意外的发现

论文里最好玩的一个词是 surprisingly。作者发现 HybridAgent 在潜模式里的思考,可以渲染成人类可读的伪文本。这条路原本最大的批评就是黑盒:潜思考快,但没人知道它在想什么。现在潜思考可以被翻译出来读,推理过程可查可调。快和透明,第一次同时成立。

数字

Qwen3-Base 三个规模:4B、8B、14B。11 个基准,覆盖数学、科学、医疗、检索和 agentic 推理,GAIA 和 HLE 都在列。对照对象包括前沿 LLM Agent(QwQ-32B、GLM-5.3-Flash)、agentic 框架,以及 Coconut、SoftThinking 这些潜推理方法——文本和潜两路都在表里。平均下来性能高 10.4%,token 少用 35.5% 到 54.7%,推理快 1.8 到 2.6 倍。

成本算得具体:按论文的定价假设,回答一百万个问题的费用从 359 美元降到 98 美元(4B 档,3.7 倍),8B 档 439 降到 121,14B 档 470 降到 176。规模越大增益越明显。

有三处要说清

流传的解读帖整体靠谱,数字都对得上论文。有三处要修正。一是「代码库暂未公开」——论文摘要明确挂了仓库,Together AI 组织下的 HybridAgent,十月九日建的,已经能跑。二是「相比前沿文本 Agent」——实际对照包含潜推理基线,Coconut 就在表里,赢的是两路人马,不只是文本那路。三是「仅约 10M 参数」——那是 4B 档的数字,桥的参数量随隐藏维度的平方涨,14B 档约五千万。

思考的带宽和交互的带宽,本来就是两种东西。这篇论文把它们接在了一起,还留了一扇能看进去的窗。4B 档那座一千万参数的小桥,替一百万个问题省下了 261 美元。

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录