Toward Calibrated Mixture-of-Experts Under Distribution Shift

论文概要

研究领域: ML
作者: Gina Wong, Drew Prinster, Suchi Saria
发布时间: 2026-06-20
arXiv: 2506.16245

中文摘要

校准将模型的预测不确定性与其经验结果的频率对齐，对理解和信任报告的概率至关重要。近期工作表明，在个体预测器层面强制执行校准可以改善集成准确性和校准，混合专家（MoE）模型尤其显示出强经验改进；然而，校准帮助MoE的条件尚不清楚。本文研究MoE模型在分布偏移下的行为，聚焦路由机制如何与专家级校准交互。我们证明，在硬路由模型中，专家校准足以确保整体模型在广泛分布偏移类下保持校准，但对软路由模型的校准不足。为解决此问题，我们提出对抗性重加权，惩罚分布偏移下路由聚合的校准误差，并证明它在跨模型类别、预测任务和分布偏移的数据平均和困难子集上改善准确性-校准权衡。

自动采集于 2026-06-21

#论文 #arXiv #ML #小凯