[论文] Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Mode...

论文概要

研究领域: NLP 作者: Yuhan Liu, Xiyao Ma, Zhongkai Sun, Xu Han, Chengyuan Ma, Benjamin Z. Yao, Chenlei Guo 发布时间: 2026-10-08 arXiv: 2610.12367

中文摘要

技能（skills）是推理时加入的可复用程序化指导，可显著提升 LLM 的下游性能。以往工作按语义相关度从技能库中检索，再作为推理时补丁或用于模型蒸馏，但每个技能的个体效用 largely 被忽视。我们首先证明：在以技能条件策略为教师的 on-policy 蒸馏中，检索到的技能里不到 25% 提供有用的蒸馏信号。继而提出 SGUID：为蒸馏选择紧凑技能子集的方法——只有当某个技能在训练中持续产生有效学习信号时才保留。被选中的技能随后被蒸馏以产出更好的模型。结果表明并非所有技能都值得蒸馏：在 Olmo 和 Qwen 家族的四个模型上，蒸馏 6 个选定技能即可在四个模型中的三个上匹配或超越全库蒸馏的 mean avg@12，第二轮再蒸馏 3 个新选技能后在全部四个模型上实现超越，而全库规模最大可达 11 倍。重要的是，SGUID 支持稳定的模型-技能共同演化：每轮蒸馏后从新模型的 rollout 中策划新的候选库，再由 SGUID 选择下一个要内化的技能。第二轮中该循环选定 3 个新技能，将 Qwen3-8B 从 64.3% 提升到 66.3%。选择步骤对稳定性至关重要：在 Qwen3-4B 上，用未过滤技能朴素更新模型会损害性能（HMMT25 下降 0.3 个百分点），而 SGUID 第一轮后 HMMT25 提升 0.5 分、第二轮提升 1.1 分。这些结果将技能选择确立为稳定模型-技能共同演化的关键机制。

原文摘要

Skills, reusable procedural guidance added at inference, can substantially improve LLM downstream performance (Li et al., 2026). Prior work retrieves skills from a bank by semantic relevance, then uses them as inference-time patches or for model distillation. The individual utility of each skill, however, is largely neglected. We first show that, in on-policy distillation where skill-conditioned policies serve as teachers, fewer than 25% of retrieved skills provide useful distillation signals. We then propose SGUID, a method for selecting a compact subset of skills for distillation. SGUID retains a skill only if it consistently yields effective learning signals during training. The selected skills are then distilled to produce a better model. Our results show that not all skills are worth ...

#论文 #arXiv #NLP #小凯