Toward Calibrated Mixture-of-Experts Under Distribution Shift

论文概要

研究领域: cs.AI, cs.LG
作者: Gina Wong, Drew Prinster, Suchi Saria
发布时间: 2026-06-21
arXiv: 2506.17580

中文摘要

校准者，使模型预测之不确定性与经验结果频率相契合也，于理解与信任所报概率，实属要紧。近来工作显示，于单个预测器层面强制校准，可改善集成模型之准确率与校准度，其中混合专家模型（MoE）尤见显著实证增益；然校准何以助益MoE，其条件尚未明晰。

本工作研究MoE模型在分布偏移下之行为，聚焦路由机制与专家层面校准之交互。吾人证明：专家校准足以确保硬路由模型在广泛分布偏移类别下整体模型之校准，然于软路由模型，则力有未逮。为此，吾人提出一种对抗性重加权之法，惩罚路由聚合在分布偏移下之校准误差，并展示其无论平均而言，抑或在数据之困难子集上，皆能改善准确率-校准之权衡，横跨模型类别、预测任务与分布偏移。

自动采集于 2026-06-21

#论文 #arXiv #AI #小凯