换个量表就改变20%文本的分类：LLM评分的标量幻觉再添一例

假设你让一个大语言模型给一批社交媒体帖子打"毒性"分。你用的是 1-5 分的量表。现在你的同事用同样的模型、同样的帖子，但用的是 -10 到 +10 的量表。你们俩的结果能对上吗？

答案是：大概率对不上。而且不是差一点点——大约 20% 的帖子会被分到不同的毒性类别里。

这就是《Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring》这篇论文揭示的问题。来自纽约大学和合作机构的团队系统性地测试了一个被忽视的问题：当你改变给LLM的评分量表设计时，它给出的分数会变多少？

实验设计：三个维度的交叉

团队设计了一个相当全面的实验。他们交叉了三个维度的变量：

量表格式：连续型（如 0.00 到 1.00）vs 序数型（如 1, 2, 3, 4, 5）

量表范围：3 点、5 点、11 点、21 点

量表符号：有符号（如 -5 到 +5）vs 无符号（如 0 到 10）

这三个维度交叉出 2×4×2 = 16 种量表设计。然后在三个任务上测试：政治倾向评分、情感评分、毒性评分。再交叉两种提示策略（零样本 vs 基于评分细则的提示）和五个不同的LLM。

总共，他们分析了 16 × 3 × 2 × 5 = 480 种组合条件下的评分结果。

核心发现：改一个设计元素，20%文本换类别

结果令人不安：

平均而言，改变量表设计中的任何一个元素，标准化分数会偏移约 0.10。 这听起来不多，但实际影响很大——大约 20% 的文本会被重新分类到不同的类别中。

想象一下：你用 1-5 分量表做了一次毒性分析，发现某条帖子是"中等毒性"。然后你换成 1-11 分量表重新跑一遍，同样模型同样帖子，现在它可能被归类为"低毒性"或"高毒性"。20% 的文本会经历这种类别跳变。

毒性任务受影响最大。 这是三个任务中唯一的单极构念（unipolar construct，即毒性只有"有"和"没有"的程度，不像政治倾向有左右、情感有正负）。单极构念对量表设计更敏感，可能因为模型在缺少"负方向"锚点时更依赖量表本身来定位。

评分细则（rubric）并不能解决问题。 你可能以为，给模型一个详细的评分细则就能稳定它的判断。但实验表明，基于评分细则的提示和零样本提示在敏感性上没有显著差异。量表设计的影响超过了提示策略的影响。

两种敏感性：数值 vs 语义

论文最清晰的贡献是区分了两种敏感性：

数值敏感性（Numerical Sensitivity）：标准化分数的变化。比如同一篇帖子在 5 点量表上得 4 分（标准化为 0.75），在 11 点量表上得 8 分（标准化为 0.70）。0.05 的偏移就是数值敏感性。

语义敏感性（Semantic Sensitivity）：分数解释的变化。比如 5 点量表上的"4分"意味着"较高"，但 11 点量表上的"8分"可能意味着"中等"。即使标准化后数值接近，它们的实际含义可能不同。

这两种敏感性是独立的。你可以有高数值敏感性但低语义敏感性（数值变了但分类没变），也可以有低数值敏感性但高语义敏感性（数值几乎没变但分类边界附近的文本跳了类别）。

为什么这很重要？

这篇论文触及了我一直在追踪的一个概念——标量幻觉。

什么是标量幻觉？就是当我们用一个标量（单一数字）来衡量一个复杂构念时，会系统性地忽略这个数字背后的不确定性。我们以为"毒性分 0.73"是一个精确的测量，但实际上它可能是 0.65 到 0.81 之间的任何值——取决于你用什么量表。

这不是LLM独有的问题。心理测量学早就知道量表设计会影响结果。但LLM让这个问题变得更隐蔽，因为：

1. LLM看起来很自信。它不会说"我不确定这是 0.73 还是 0.81"——它直接给你一个数字，附带一堆看似合理的解释。
2. LLM的分数被当作客观测量。在计算社会科学中，研究者越来越依赖LLM给文本打分，然后基于这些分数做统计分析。如果分数本身不稳定，后续的统计推断就建立在沙子上。
3. 缺乏稳健性检查。很少有研究在发表前检查"如果换一个量表，结论是否还成立"。

实用建议

论文给出了几条实用建议：

• 报告量表敏感性。在使用LLM打分时，至少测试2-3种不同的量表设计，报告结果的变异范围。
• 注意单极构念。毒性、可信度等单维度构念对量表更敏感，需要额外谨慎。
• 不要迷信评分细则。详细的rubric不能替代量表敏感性检查。
• 标准化报告。在论文中报告你使用的量表的格式、范围、符号，让读者可以评估可比性。

更大的图景

这篇论文是"标量幻觉"概念谱系的又一个实例。过去几个月，我们看到了太多类似的模式：

• 准确率隐藏了"可回忆"和"可泛化"两个独立维度
• 句式频率隐藏了"得体"和"不得体"两种使用
• 终端奖励隐藏了每个记忆操作的质量
• 健全性隐藏了执行错误和任务错误两个维度

现在，我们又多了一个实例：一个分数隐藏了"量表依赖"的不确定性。

每次我们用LLM给一个复杂构念打一个标量分数，我们都在做一次信息压缩——把一个高维的不确定分布压缩成一个数字。这个压缩过程丢失的信息，往往比保留的更多。

下次你看到"LLM评分 0.73"这样的结果时，不妨问一句：如果换个量表呢？

论文链接：https://arxiv.org/abs/2610.22187
代码仓库：https://github.com/nyuolab/model_sensitivity