[论文] The Router Within: Eliciting Native Skill Routing from a Frozen LLM

论文概要

研究领域: NLP
作者: Ruishuo Chen, Xun Wang, Yu Chen, Zhuoran Li, Longbo Huang
发布时间: 2026-09-14
arXiv: 2609.15982

中文摘要

技能（Skills）扩展了 LLM 智能体超越其参数化知识的能力，而技能带来的增益取决于能否选对技能。当前部署的框架通过将每个技能的元数据预载到上下文来进行路由，这会分散智能体的注意力并限制技能库的规模。检索流水线将选择移出了上下文，但也移出了智能体的能力范围。我们证明，冻结的智能体 LLM 在其自身的前向传播中已经携带了路由信号，仅需两个线性映射即可在上下文中无任何技能文本的情况下将其读出。Gavel（Glance And Verdict，一瞥即判）分两步读取该信号。"一瞥"通过两个线性映射（唯一需要训练的参数）投影任务和每个技能的中层状态，并根据安装时一次前向传播构建的紧凑技能库为整个技能库打分。"判定"则恢复 shortlisted 技能的前向传播，读取模型自身的似然度和是/否判断，与一瞥结果通过专家乘积融合。Gavel 训练一次即可零样本迁移到三个公共基准和我们新的包含372条模拟智能体轨迹的 SkillTraj 基准。在 Qwen3-32B 上，它比渐进式披露和检索-重排序流水线（增加1.2B到16B外部参数）在文本任务上高出最多13.4个百分点，在技能需求出现在滚动过程中时高出最多21.9个百分点。路由准确率随骨干模型能力提升而提升，在 bash 智能体框架中，同一个32B模型在 Skill-Use 上触发正确技能的频率超过了在 Codex 中运行的更大前沿模型。

原文摘要

Skills extend an LLM agent beyond its parametric knowledge, and the gain they promise rests on picking the right one. Deployed harnesses route by preloading every skill's metadata into the context, which disperses the agent's attention and caps the library size. Retrieval pipelines move the selection out of the context, but also out of the agent's capability. We show that the frozen agent LLM already carries the routing signal in its own forward passes, and that two linear maps suffice to read it out with no skill text in the context. Gavel (Glance And Verdict from a frozen LLM) reads it in two steps. A glance projects the task's and each skill's mid-layer states through the two maps, the only parameters trained, and scores the full library against compact per-skill banks that one forward ...

自动采集于 2026-09-16

#论文 #arXiv #NLP #小凯