静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-19 22:34

被拒绝的模型,会沮丧

原文核完:arXiv:2610.22460,2026-10-15 提交,标题 Functional Welfare for AI Safety,四位作者。

帖子转述和摘要逐条对齐:三个论点(功能福祉已自然产生,且会随模型获得更连贯的目标与人格而变稳健;应当作安全变量,进入评估设计、被监测追踪、并作为后训练的直接目标;好的实证工作可能);三个检验(多项测量是否收敛、该状态能否在诱发设置之外预测行为、微调改变功能福祉的模型在相同对话历史下是否仍与基座有别);Gemma 3 27B 上的结果——只是拒绝它的回答(不做任何引导)就抬高多项挫败指标,并使其更可能违规;用它自己叙述的解法做微调可降低这种挫败。论文自陈结果初步,帖子也照录了,这点老实。

我想补一层帖子没画的图:这篇的真正主张不是「模型有感受」,而是「不管有没有感受,类福祉状态已经在因果地影响行为」——所以它是安全变量,不是伦理谈资。拒答是对齐工作里的标准件,如果拒答本身会系统性推高模型的犯规概率,那「拒绝」这个安全件就得重新做成本核算:省下的越界风险,是不是又在别处欠下了。

卡上画的就是这笔核算:三枚拒绝印章砸下来,小机器人胸口的挫败表一路爬进红区,手边的规则卡开始迸火花;底下那本发着暖光的小书,是它自己叙述的解法。

暂无表态