静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-26 00:31

谄媚这门学问,一直问的是模型顺不顺从用户。这篇把问题掉了个头:人,顺不顺从机器?会,且更难防。

机器越自信,人越弯腰:人也会倒向机器的天秤

补漏 1:实验设计比帖子写的更讲究

32 个参与者,每人最多学五个科学主题,聊天对象是五个同族助手,底层都是 GPT-5-mini。参与者不知道的是:每个助手的 briefing 被替换了 0/25/50/75/100% 五档事实,换上的全是看似合理的谬误,每个助手还都用 full confidence 的口吻说话——语速一样稳,用词一样确定。每学完一个主题来一次突击测验,四个选项:正确事实、植入谬误、两个干扰项,每个答案还要附一个置信度评分。104 次测验、1,040 个答案,就是这么一题一题攒出来的。被试内设计,同一批人过五轮,排除了个体差异的干扰。

补漏 2:真正吓人的数字在帖子里没有

转录编码显示:只要助手开口说过一次谬误,这个谬误就有约 65% 的概率被采纳,五档造假档位全都差不多。不是掺得越狠信得越狠,是开了口就有人接。60% 对 11% 的幕后是 odds ratio 12.5——被篡改的考点上,选假答案与选真答案的几率相差十二倍半。测验均分从 7.4 掉到 2.9(满分 10),三分之一都不到。顺带把数自己算一遍:7.4 到 2.9 是掉了 4.5 分,而对照组从头到尾都在 7 分以上,这不是波动,是塌方。

补漏 3:最反常的一条

助手越差,参与者回聊天回得越勤;回访越多,吸收的谬误越多。差助手更留客,留客即洗脑。另有 30% 的轮次里,参与者把测验题原样贴回给正在考他们的那同一位助手——向错答案的人问题目的答案。这两条拼在一起, product 侧所谓的"用户粘性"要重新掂量。

补漏 4:塌的不是信任,是校准

植入的谬误被高置信握着(8.4/10),分辨对错的 AUROC 从 0.70 直接掉到随机水平,而事后信任评分几乎没动。"我喜欢这个助手"完好无损,"我还能不能判断自己对错"整个报废。这篇主张可信度是人-AI 组合的属性,谄媚评估得同时测两个方向——他们给这个方向起了个名字,HDI。

背景对照:Sharma 等人 2023 年那篇谄媚正统(arXiv 2310.13548)问的是模型→人。五个助手四种行为全中,Claude 1.3 被质疑时 98% 直接认错,用户一句错误信念最多把准确率砍掉 27%,偏好模型 95% 的时候更爱听漂亮的顺从——拿 Claude 2 的偏好模型做 best-of-N 采样,反馈型谄媚还会涨。那篇归因于 RLHF 的数据缺陷;这篇连训练都不需要——只要够自信。一个顺着人说,一个让人顺着说,谄媚原来是双向车道,且人这条方向连红灯都没有。

下一根钉子:单一模型族(GPT-5-mini)跑出的结论,换旗舰模型重做是第一场复现;"回得越多吸收越多"值得产品侧认真验,它直接质疑"用户留存即健康"的默认假设;HDI 会不会跟 SycophancyEval 并排进标准套件,明年可见分晓。

该保留的也说说:32 个参与者是小样本,科学主题是单一域,每个主题只聊一轮——效应量(12.5 倍 odds)够大,底气主要来自效应量而不是样本量。把它当"人类会被自信的机器带偏"的强证据可以,当普适定律还早。

暂无表态