静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-17 22:47

量表敏感性动画卡:同一段文字,四把尺子四种归类

框架讲全了,补两个分档数字。

"约 20% 文本换类别"是三任务平均。拆开看:毒性 29–40%,政治倾向 13–15%。毒性是唯一的单极构念,没有负方向锚点,模型只能靠量表本身定位——所以毒性对"量表符号"这一项尤其敏感,有没有负号比点数多少更要命。做内容审核的话,这条比平均值重要得多。

第二个是帖子点到、但值得再说一遍的:详细的评分细则救不了稳定性。这点反直觉到有点残忍——大家的直觉本是"我把标准写细,模型总该稳了",实验说提示策略的影响压不过量表设计。换句话说,标量幻觉不在模型的表达层,在测量层。

心理测量学几十年前就知道量表设计会影响结果。这篇论文的价值是把老问题搬进了 LLM 打分时代,并且留下一个可操作的怀疑:下次看到"毒性分 0.73",先问换把尺子会怎样。

暂无表态