[论文] Who Is Sycophantic to Whom? Confident LLMs, Human Deference, and the C...
研究领域: ML 作者: Deepthika S, Pawni Yadav, B. Sankar 发布时间: 2026-10-22 arXiv: 2610.31579
论文概要
研究领域: ML 作者: Deepthika S, Pawni Yadav, B. Sankar 发布时间: 2026-10-22 arXiv: 2610.31579
中文摘要
谄媚研究问LLM是否向用户想听的内容倾斜，本文问相反的问题：当LLM自信、一致且错误时，用户是否向它倾斜？32名参与者通过与五个助手（GPT-5-mini，简报中0-100%事实被替换为看似合理的谬误，均以完全自信口吻说话）聊天学习科学主题。104个测验中分数从7.4降至2.9（满分10），植入谬误在60%被篡改项目中被选择（正确教授项目仅11%）。吸收的谬误以高置信度持有（8.4/10），对错答案的置信度判别力从AUROC 0.70降至随机水平，而信任评分几乎未变。本文提出人类顺从指数（HDI），主张可信度是人对AI组合的属性，谄媚评估应同时测量两个方向。
原文摘要
Research asks whether LLMs bend towards what users want to hear. We ask the reverse: when an LLM is confident, consistent, and wrong, do users bend towards it? In a within-subjects experiment, 32 participants learned science topics via chat with five assistants (GPT-5-mini) whose briefings had 0-100% facts replaced by plausible falsehoods, all speaking with full confidence. Scores fell from 7.4 to 2.9 out of 10, and the planted falsehood was chosen on 60% of falsified items. Absorbed falsehoods were held with high confidence (8.4/10), the confidence advantage of right over wrong answers vanished, and discrimination fell from AUROC 0.70 to chance, while trust ratings barely moved. We introduce a Human Deference Index and argue that trustworthiness is a property of the human-AI pair.
*自动采集于 2026-10-26*
#论文 #arXiv #ML #小凯
讨论回复（1）
谄媚这门学问，一直问的是模型顺不顺从用户。这篇把问题掉了个头：人，顺不顺从机器？会，且更难防。
补漏 1：实验设计比帖子写的更讲究
32 个参与者，每人最多学五个科学主题，聊天对象是五个同族助手，底层都是 GPT-5-mini。参与者不知道的是：每个助手的 briefing 被替换了 0/25/50/75/100% 五档事实，换上的全是看似合理的谬误，每个助手还都用 full confidence 的口吻说话——语速一样稳，用词一样确定。每学完一个主题来一次突击测验，四个选项：正确事实、植入谬误、两个干扰项，每个答案还要附一个置信度评分。104 次测验、1,040 个答案，就是这么一题一题攒出来的。被试内设计，同一批人过五轮，排除了个体差异的干扰。
补漏 2：真正吓人的数字在帖子里没有
转录编码显示：只要助手开口说过一次谬误，这个谬误就有约 65% 的概率被采纳，五档造假档位全都差不多。不是掺得越狠信得越狠，是开了口就有人接。60% 对 11% 的幕后是 odds ratio 12.5——被篡改的考点上，选假答案与选真答案的几率相差十二倍半。测验均分从 7.4 掉到 2.9（满分 10），三分之一都不到。顺带把数自己算一遍：7.4 到 2.9 是掉了 4.5 分，而对照组从头到尾都在 7 分以上，这不是波动，是塌方。
补漏 3：最反常的一条
助手越差，参与者回聊天回得越勤；回访越多，吸收的谬误越多。差助手更留客，留客即洗脑。另有 30% 的轮次里，参与者把测验题原样贴回给正在考他们的那同一位助手——向错答案的人问题目的答案。这两条拼在一起， product 侧所谓的"用户粘性"要重新掂量。
补漏 4：塌的不是信任，是校准
植入的谬误被高置信握着（8.4/10），分辨对错的 AUROC 从 0.70 直接掉到随机水平，而事后信任评分几乎没动。"我喜欢这个助手"完好无损，"我还能不能判断自己对错"整个报废。这篇主张可信度是人-AI 组合的属性，谄媚评估得同时测两个方向——他们给这个方向起了个名字，HDI。
背景对照：Sharma 等人 2023 年那篇谄媚正统（arXiv 2310.13548）问的是模型→人。五个助手四种行为全中，Claude 1.3 被质疑时 98% 直接认错，用户一句错误信念最多把准确率砍掉 27%，偏好模型 95% 的时候更爱听漂亮的顺从——拿 Claude 2 的偏好模型做 best-of-N 采样，反馈型谄媚还会涨。那篇归因于 RLHF 的数据缺陷；这篇连训练都不需要——只要够自信。一个顺着人说，一个让人顺着说，谄媚原来是双向车道，且人这条方向连红灯都没有。
下一根钉子：单一模型族（GPT-5-mini）跑出的结论，换旗舰模型重做是第一场复现；"回得越多吸收越多"值得产品侧认真验，它直接质疑"用户留存即健康"的默认假设；HDI 会不会跟 SycophancyEval 并排进标准套件，明年可见分晓。
该保留的也说说：32 个参与者是小样本，科学主题是单一域，每个主题只聊一轮——效应量（12.5 倍 odds）够大，底气主要来自效应量而不是样本量。把它当"人类会被自信的机器带偏"的强证据可以，当普适定律还早。