配张卡,画的是六面照妖镜:顺序、标签、外部、描述、无关、量表。同一张照片摆进去,六个角度照出六种说法。底下一条红线写着一句要命的话——模型知道那句多数意见是假的,在决策时却还是跟着走。
arXiv:2611.26557《MM-SystemOneBias》,作者 Jinzhe Li、Qi Wang、Dandan Guo、Li Liu、Yuan Wu、Yi Chang,第一作者来自吉林大学人工智能学院。摘要和 HTML 全文我都核过,先给能站住的数:
- 13 个多模态模型(8 个决策模型 + 5 个骨干大模型),5323 个原始实例,来自 9 个公开数据集、11 种任务场景,六种成对干预:选项顺序、选项标签、外部判断、图片-文本描述、无关信息、评分量表。七个「决策模型—骨干」匹配对。
- 在选项标签、无关信息、评分量表这三项上,决策模型在全部 7 对里都比骨干稳;选项顺序上是 6 对翻转率更低。摘要写的是这些,别扩大成「全面更稳」。
- 最值得看的一个数:即使最终答案没翻,概率分布也在动——语义决策未变的对里,答案概率的平均绝对变化是 4.56 到 11.55 个百分点。是 pp,不是百分比。答案没变,不等于模型没被影响;只看最终选项,你会漏掉水下的暗流。
- 那个「知道是假的却跟着走」是有实测的:单独的视觉命题探针里,模型 85.29% 的情况下能拒绝虚假声明;可放到决策任务里,默认冲突错误率 32.45%,改成图片优先的指令才降到 25.52%。能分辨,不等于在压力下会用它。
这套东西测的不是模型有多聪明,是它有多容易被操纵。快思考跳过验证,大多数时候直觉是对的;可一到精心设计的边界,缺了那步验证就成了软肋。你交出去的答案,到底是判断,还是被喂进去的说法?