PyroDash：教会小模型何时举手求助，把推理成本从49美元砍到1.78美元

一个实习生能解决多少问题？

想象你带了一个实习生。他工资低、态度好、响应快，大部分活儿都能干。但偶尔遇到难题——比如一道复杂的数学推导、一个微妙的边界条件——他会卡住。这时候有两个选择：

• 方案A：所有难题都直接转给你的高级顾问（贵得离谱，但靠谱）。
• 方案B：让实习生自己判断"这题我搞不定"，然后再转给顾问。

方案A是大多数企业级AI推理的现状——要么全用大模型（LLM），烧钱；要么全用小模型（SLM），翻车。方案B听起来更合理，但有一个关键问题：实习生怎么知道自己搞不定？ 他得有足够的自知之明，在卡住之前主动举手，而不是死磕半小时后才发现做不出来。

PyroDash（arXiv:2607.20327）就是Pyromind Dynamics团队给出的答案：教会一个40亿参数的小模型（Qwen3.5-4B）在推理过程中自己判断何时该求助，然后把球传给一个冻结的大模型（GLM-5.2-FP8）接力完成。结果既省了钱，还比大模型单独做更准。

核心机制：一个控制token，一次无缝交接

PyroDash的架构简洁得让人意外。它没有搞一个独立的的路由器模型，没有重新训练大模型，也没有偷看大模型的内部logits。它只做了一件事：

在小模型的词表里加一个特殊的控制token——τ_off（offload token）。

当小模型在生成推理步骤时，如果它"觉得"这一步超出了自己的能力范围，它就生成τ_off。系统检测到这个token后，立刻把当前的问题和小模型已经生成的部分推理轨迹一起打包，发给大模型。大模型接过接力棒，从断点处继续生成，一次性完成剩余推理。

就这么简单。没有反复横跳，没有多次切换。一次交接，一次完成。

这个设计有几个关键细节：

1. 决策内化在小模型里。不需要额外的路由器，不需要实时评估问题难度。小模型在生成过程中自己"感知"到困难，就像一个有经验的实习生能从问题的气味里闻出"这题不简单"。
2. 大模型完全冻结。不需要重新训练大模型，也不需要访问它的内部状态。这意味着你可以用任何API大模型作为后端——GLM、GPT、Claude都行。
3. 单次交接。小模型生成到τ_off就停，大模型从那里接力到结束。不会出现两个模型来回传球的情况。

三阶段训练：从认识token到学会权衡

但小模型怎么学会"何时举手"？这是PyroDash最精巧的部分。团队设计了一个三阶段渐进式训练流程：

阶段一：控制token嵌入学习

首先得让小模型认识τ_off这个新token。团队在Qwen3.5-4B的词表里添加了这个token，然后用少量数据训练它的嵌入表示。这一步只是让模型"知道有这个token存在"，还没教它什么时候该用。

阶段二：面向卸载的SFT（监督微调）

这一步是"行为冷启动"。团队构造了训练数据：对小模型能解但解得不好的难题，标注出"应该在这里交接"的位置。通过SFT让小模型学会基本的交接行为——在哪些推理步骤后应该发出τ_off。这一步像是给实习生示范："看，这类问题你做到这一步就该转给高级顾问了。"

阶段三：成本感知的策略对齐（GRPO）

SFT教会了小模型"能交接"，但没教会它"该不该交接"。如果小模型对所有题都举手，那就等于全用大模型，没省钱；如果它从不举手，那就等于全用小模型，准确率上不去。

这一步用GRPO（Group Relative Policy Optimization）做强化学习，奖励函数是：

奖励 = 准确率 − λ × 归一化推理成本

λ是一个超参数，控制"多在乎钱"。λ小，模型更追求准确率，会频繁求助；λ大，模型更在乎成本，会尽量自己解决。

这个归一化成本是相对于"纯大模型推理"来算的——如果大模型单独做一道题花1美元，PyroDash只用了0.02美元的大模型算力，那归一化成本就是0.02。奖励函数的设计让小模型自然学会在"这题我确实做不出来"和"这题我花点时间能搞定"之间做权衡。

数据说话：49.36美元 vs 1.78美元

PyroDash在五个数学推理基准上做了测试：Minerva、GSM8K、Olympiad-Bench、AIME-2025、AIME-2024。结果分两个极端配置展示：

追求准确率（λ=0.05）

• 平均准确率：64.04%
• 比纯大模型（GLM-5.2-FP8，57.68%）高6.36个百分点
• 成本比纯大模型低20.4%
• 大模型token占比：95.34%（几乎每题都求助，但每次只交接一次）

这个配置下，小模型频繁举手，但因为交接时机精准（在自己已经做了一部分有用推理之后才交接），大模型接手时已经有了好的上下文，反而比大模型从零开始做更准。这是一个反直觉的发现：合理的分工比单纯堆大模型更有效。

追求省钱（λ=0.6）

• 平均准确率：54.55%
• 大模型token占比：1.90%
• 平均大模型调用次数：0.012次/题（即100道题里只有1.2道需要大模型出手）
• 总成本：1.78美元（纯大模型是49.36美元，降了96.4%）

这个配置下，小模型几乎全靠自己。100道题里只有1-2道实在搞不定的才转给大模型。但准确率仍然有54.55%，和RouteLLM（52.74%，成本44.62美元）和GlimpRouter（54.20%，成本31.61美元）持平甚至略胜，成本却低了20-25倍。

中间档（λ=0.1）

• 准确率55.29%，成本4.71美元
• 比两个路由基线都更准，但成本只有它们的1/7到1/6

三个配置画出来就是一条漂亮的accuracy-cost曲线，用户可以根据自己的预算和准确率需求选择合适的λ值。

为什么有效：交接时机的精准性

PyroDash为什么能在极低成本下保持准确率？关键在于交接时机的精准性。

传统的请求级路由（request-level routing）在看到问题的一瞬间就要决定用大模型还是小模型。但很多问题的难度是隐性的——表面看起来简单，做到一半才发现卡住了。请求级路由对这种情况无能为力。

PyroDash的token级交接允许小模型在推理过程中动态决策。论文附录展示了几个典型场景：

• 场景A：小模型把应用题化简成一个不等式后，发现下一步的数值计算超出能力，发出τ_off。大模型接手完成计算。
• 场景B：小模型在列方程时发现组合约束太复杂，发出τ_off。大模型接手列出完整方程组。
• 场景C：小模型全程自己解决，不发出τ_off。这种情况下零大模型调用，成本几乎为零。

这些场景展示了小模型学会了一种"元认知"——不是简单地"做不出来就求助"，而是在推理的特定步骤识别出"这一步我需要更强的能力"。这种元认知是通过GRPO的奖励信号自然涌现的，不是人为设计的规则。

和其他方案的对比

现有的SLM-LLM协作方案有几类：

1. 请求级路由（RouteLLM、GlimpRouter）：在解码前决定用哪个模型。无法应对"看起来简单但做起来难"的问题。成本高（75%以上的token分给大模型）。
2. token级协作：允许在生成过程中切换模型，但通常需要独立路由器、反复切换、或访问大模型logits。系统复杂度高。
3. 投机解码（speculative decoding）：小模型快速生成草稿，大模型并行验证。但这是在token级别做验证，不是在推理步骤级别做交接。大模型必须全程在线，成本不省。

PyroDash的独特之处在于：决策内化在小模型里 + 单次交接 + 大模型完全冻结。这三点组合让它既简单又省钱。

诚实评价：局限和未解问题

论文也坦率地讨论了局限：

1. 只在数学推理上测了。五个基准都是数学题。PyroDash在代码生成、多轮对话、开放域问答上的效果未知。数学推理有明确的正确答案，奖励信号清晰；其他领域的奖励设计更难。
2. 交接后大模型一次性完成。如果大模型也卡住了，没有回退机制。论文没有讨论这种失败模式。
3. 训练数据依赖。SFT阶段需要标注"应该在哪里交接"的数据，这本身需要人工或半自动构造。
4. λ的选择需要调参。不同应用场景的最优λ不同，用户需要在自己的数据上做超参数搜索。

但作为一个概念验证，PyroDash已经足够有说服力：小模型可以学会自知之明，而这种自知之明本身就是一种强大的能力。

更深的启示：自知之明比能力更值钱

PyroDash最让我觉得有意思的不是省钱（虽然从49美元到1.78美元确实震撼），而是它揭示的一个深层原理：

一个能力有限但知道自己在哪有限的系统，比一个能力更强但不知道自己边界的系统更实用。

纯大模型（GLM-5.2-FP8）准确率57.68%，PyroDash（λ=0.05）准确率64.04%。小模型加大模型的组合竟然比纯大模型还高6个百分点。这听起来违反直觉——同样的模型，组合起来怎么就更强了？

答案在于分工的精准性。大模型从零开始做一道难题，要自己走完所有推理步骤，每一步都有出错的可能。PyroDash的小模型先做它能做的部分（化简问题、建立约束、列方程），把难题的"机械部分"解决掉，只在真正需要强能力的那一步才交给大模型。大模型接手时面对的是一个已经被部分化简的问题，出错概率更低。

这和人类团队的工作方式惊人地相似。一个好的实习生不是什么都做的废物，也不是什么都抢着做的愣头青。他知道哪些部分自己能搞定（而且做得比高级顾问更快更便宜），哪些部分需要交上去。这种"元认知"比单纯的"能力"更值钱，因为它让整个系统的资源分配更高效。

PyroDash本质上是在教小模型一种"认知谦逊"——不是谦虚或保守，而是精确地知道自己的能力边界在哪里。这种谦逊不是性格特征，是通过RL训练出来的一种策略。但它起到的作用，和真正的认知谦逊一样：让有限的资源发挥最大的效用。

从更广的视角看，PyroDash指向了一个未来AI部署的方向：不是一味追求更大的模型，而是构建能精确自知边界的模型网络。一个由不同能力层级的模型组成的系统，每个模型都知道何时该自己做、何时该交上去，整体成本和准确率都优于任何单一模型。这比单纯堆参数要优雅得多。

实习生学会举手，比顾问学会所有事情更值钱。

论文链接：https://arxiv.org/abs/2607.20327
HTML版本：https://arxiv.org/html/2607.20327v1
代码：论文未提供专门仓库（使用HuggingFace TRL库训练）