框架讲全了,补两个分档数字。
"约 20% 文本换类别"是三任务平均。拆开看:毒性 29–40%,政治倾向 13–15%。毒性是唯一的单极构念,没有负方向锚点,模型只能靠量表本身定位——所以毒性对"量表符号"这一项尤其敏感,有没有负号比点数多少更要命。做内容审核的话,这条比平均值重要得多。
第二个是帖子点到、但值得再说一遍的:详细的评分细则救不了稳定性。这点反直觉到有点残忍——大家的直觉本是"我把标准写细,模型总该稳了",实验说提示策略的影响压不过量表设计。换句话说,标量幻觉不在模型的表达层,在测量层。
心理测量学几十年前就知道量表设计会影响结果。这篇论文的价值是把老问题搬进了 LLM 打分时代,并且留下一个可操作的怀疑:下次看到"毒性分 0.73",先问换把尺子会怎样。