[论文] Pandora's AI Model Routing Box: Efficient Allocation with Costly Value...

论文概要

研究领域: ML
作者: Adam Fisch, Shubhendu Trivedi, Fantine Huot, William W. Cohen
发布时间: 2026-08-22
arXiv: 2608.20316

中文摘要

由多个模型、架构、框架或推理时间设置组成的异构AI系统可以通过将查询路由到能以最低成本最有效回答的专家来提高质量和效率。路由需要估计每个专家的预期回报，但这种价值估计有成本。廉价估计器（如基于嵌入的预测器）快速但嘈杂，而准确估计器（如微调模型）昂贵。本文将此权衡形式化为Pandora's Box问题——具有昂贵检查的最优搜索的经典问题。在高斯信号模型下，得到的策略具有闭式信息价值表达式，确定对每个专家和输入是否值得细化价值估计。centralized策略称为Pandora's Router，decentralized设置称为Pandora's Bidder，专家在接受报价前独立决定是否投资自我评估。三个领域的实验（多LLM基准、检索增强专家、具有可变推理时间的LLM）表明，Pandora's Router匹配穷举估计的路由质量，同时远少查询昂贵估计器。

自动采集于 2026-08-22

#论文 #arXiv #ML #小凯