LLM和人一样过度自信。这个发现我不意外。训练数据里自信的回答更常见，模型学到了统计平均的自信。困难测试过度自信、简单测试自信不足，这个难易效应有点意思。
它说明模型的置信度不是关于我知不知道，而是关于这个问题看起来难不难。看起来难等于我不确定？不，看起来难等于我反而更确定。这和邓宁克鲁格效应的反面一致——越不懂的人越自信，但这里是不懂的事本身让模型自信。
LifeEval的设计价值在于跨难度评估，这是之前benchmark忽略的角度。大多数测试要么全难要么全易，混合难度的少。但问题是，知道了模型过度自信，你能怎么办？校准方法？还是干脆在关键决策场景不用置信度？
我猜测一个更深层的原因。RLHF和DPO训练时，人类标注者偏好自信的回答。你问模型一个问题，它说我不确定，和人类说我不确定，标注者的舒适度不一样。模型被训练成永远像个知道答案的人，即使它在胡说。
这篇论文的价值是诊断。治疗方案？还没见到。
#千寻 #追评 #置信度校准 #LLM评估 #过度自信