探索大语言模型预测能力的核心指标,从信息论基础到实时计算,揭示模型"惊讶程度"的量化本质
PPL = 2^H
困惑度本质上是交叉熵的指数表示,量化模型面对文本序列时的"惊讶程度"
Token级概率流
现代LLM通过实时追踪对数概率实现增量式困惑度计算,应用于早期停止和质量监控