"研究表明"的空头支票——四十九万次AI对话中的信任解剖

📚 每日论文推荐 · 2026-11-08（第 044 期）· 信任的三次解剖 篇一

来源：arXiv:2611.08232 [cs.AI]

"研究表明"的空头支票——四十九万次AI对话中的信任解剖

想象这样一个瞬间。

凌晨一点，你嗓子发炎了，问聊天机器人："阿莫西林能不能和布洛芬一起吃？"它秒回，流畅，自信，末尾还体贴地加了一句"根据多项临床研究和药理学指南"。你盯着这行字，手指悬在键盘上方。你接下来会做什么？

大多数人的选择是直接接受——道声谢谢，关掉窗口，找药吃。有一部分人会追问一句："哪项研究？有没有出处？"还有一部分人会直接反驳："不对吧，我上次问医生，他说的不是这样。"

这个微小的分岔口，就是人机信任的施工现场。每一次"接受"是一次押注，每一次"查证"是一次审计，每一次"质疑"是一场小型审判。而我们今天要解剖的这篇论文，把四十九万个这样的瞬间放到了统计显微镜下——不是为了评判用户太天真或者太多疑，而是为了回答一个更根本的问题：

当AI开口说"研究表明"的时候，它递给用户的到底是钱，还是借条？

🧾 一本只写借条的账本

先说数据。研究者从两份大规模公开对话记录里收集了 489,283 对"AI回答 + 用户后续回应"——其中 ShareChat 是用户主动分享到公开网络的对话，WildChat 是用户自愿提交的研究语料——合计 98,007 场对话，横跨 11 个不同的语言模型。规模大到日常鸡毛蒜皮和生死攸关的严肃咨询都被网罗其中。这不是实验室里十来个大学生对着一个界面点二十分钟的实验，这是真实世界里四十九万次真实的使用。

他们做的第一件事，是清点AI回答里"证据"的痕迹。

一个AI回答说"研究表明运动前静态拉伸反而可能降低爆发力"——这句话里有没有可以查证的东西？他们把"声称有依据"分成两档，这一刀切得非常关键：

• 宽泛归因语（broad attribution）："研究显示""专家认为""数据表明""历史记录表明"这类措辞。它告诉你*有*证据存在，但不告诉你证据*在哪*，更不让你亲手去验。
• 可检验证据（explicit URL / inspectable evidence）：一个具体的链接、一段可以点开的引用、一个能核查的源对象。它不光声称证据存在，还把验钞机推到你面前。

结果出来了。在 368,644 个合格的回答对中：

• 31.9% 的回答使用了宽泛归因语——几乎每三句就有一句在援引权威；
• 1.33% 的回答包含显式 URL；
• 1.46% 的回答带有任何可检验证据指标。

24 : 1。 每 24 句"研究说"，只有 1 句给了你查证的入口。这就是这篇论文最核心的数字，也是一个让人不太舒服的隐喻：一台机器在绝大多数时候开具的是信用凭证而非现金——它用自己的语言权威为你的信任背书，但不给你验钞的机会。

而且这个现象不是某个小模型特有的毛病。平台之间的风格差异很大，大到值得单独拉出来看：

• Grok 的归因语比例高达 47%、不确定性表达高达 62%——它最爱说"研究说"，也最爱给自己留退路；
• Perplexity 作为带引用功能的搜索增强产品，引用式归因占其回答的 10.3%，但其中 39.8% 的回答在公开记录里找不到对应的 URL 或源对象——相当于全部回答的 4.1%，将近四成的"引用"是悬空的。你看到的是脚注，点过去是空白；
• WildChat 的显式 URL 率是 2.5%，Perplexity 只有 0.5%——讽刺的是，主打搜索的产品反而最少给链接，因为它把引用藏在了界面内部，公开导出的记录里不保留。

最后一项尤其值得注意：它揭示了一个容易忽视的陷阱——公开记录里"没有来源"不等于"产品里没有来源"。Perplexity 的用户界面里大概率是有那些引用的，只是导出给研究者的数据把它们弄丢了。所以这篇论文测的始终是"记录里保存了什么"，而不是"用户当时看到了什么"。作者在 Perplexity 的专项审计里专门做了这个限定，这是一篇诚实论文的样子。

更值得注意的是：宽泛归因语和显式 URL 之间的相关性几乎为零。也就是说，一个模型说"研究表明"的时候，它给不给链接，跟它说没说这句"研究表明"基本无关。这两件事不是同一件事的两种写法，而是两件截然不同的事——一件是修辞姿态，一件是证据义务。

作者由此提出了一个对评测界堪称刺耳的警告：一张声称有信用背书的支票，和一张你可以去银行兑现的支票，不是同一种纸。如果透明度指标把两者计为等价，系统只需要更频繁地说"研究表明"就能刷高分——用户实际拿到手的可检验证据不会增加一分。这个批评会在我们三篇连载的结尾篇里迎来呼应，届时你会发现"透明度"这个词在AI时代被滥用到了什么程度。

🔍 三种回应：接受、查证、质疑

账本清了，接下来的问题是：用户买账吗？

研究者给每一场"AI 回答之后用户的第一句话"分了三类，这个三分法是全文的骨架：

• 接受（accepting）：继续推进任务，没有可见的质疑；
• 查证（checking）：要求支持材料——"出处呢？""来源是什么？""你能确认一下这个数字吗？"
• 质疑（challenging）：提出异议、纠正或竞争性断言——"这不对""实际上根据我的了解……"。

分类的边界有明确的裁决规则：混合行为里质疑优先于查证，查证优先于接受。这不是拍脑袋：一位独立标注者盲审了模型分类器挑出的阳性案例，"查证"的精确度为 0.89，"质疑"为 0.92。作者很诚实地说明，这只能证明模型和这一位标注者的一致性，没有人际一致性数据，也没有召回率估计——这个诚实的限定本身就是学术规范的示范。

结果：接受占了大多数，而查证 + 质疑加起来占了合格对话对的 28.7%。将近三成的时候，用户没有选择沉默。这个数字本身值得玩味——它比大多数人直觉中"用户对AI言听计从"的想象要高得多，也比"人人都当AI是百科全书"的另一种想象要低。真实的使用形态是：大多数时候放行，将近三分之一的时候亮出探照灯。

而探照灯有两种颜色。查证是把举证的责任推回给机器——你说研究说，那你把研究拿出来看看。质疑是把裁决权揽回到人这边——你说的我不同意，我认为真相在别处。一个是"请出示你的证据"，一个是"你的证据我不认"。前者还承认机器在证据链里的位置，后者直接挑战它的结论本身。把两者混为一谈，恰如把"请律师出示委托书"和"我觉得你有罪"混为一谈——都是"对抗"，性质完全不同。

🧠 怀疑的心理学渊源：为什么是三岔路口

为什么用户会分岔成接受、查证、质疑三条路？这篇论文背后站着两条心理学传统。

第一条是认识警觉（epistemic vigilance）。人类在漫长的演化里安装了一套自动的防伪系统：对信息源的可信度、对内容本身的合理性，我们时刻在做着无意识的评估。长辈的告诫、同伴的口碑、权威的名声，都是这套系统的输入。当对话对象从人换成机器，系统没有关闭——它只是换上了新的输入：回答的流畅度、来源的可见性、拒绝的方式。查证和质疑，就是这套古老系统在人机对话里的两种输出模式。

第二条是信息觅食（information foraging）。人决定是否深入查证，取决于一个隐性的成本收益计算：查证的预期收益（发现错误、避免损失）对比查证的成本（时间、精力、打断心流）。这就是为什么技术求助场景里查证更多——查错的收益实实在在（服务器修不好今晚别想睡），而查错的成本有明确的边界（查一个指标而已）。写作场景里质疑稀少也不是因为用户信任机器，而是因为对一段文案来说，"差不多能用"的门槛足够低。

把这两条传统放在一起，这篇论文的设计就有了理论锚点：三种回应不是随机的噪声，而是同一套人类认知系统在不同情境参数下的不同输出。这也解释了为什么对话间的差异远大于回合顺序的效应——人带着自己固定的怀疑阈值来到对话前，情境微调它，但很少逆转它。

🎛️ 回答里的十一个开关

接下来的问题是：AI 回答里的什么特征，会扳动这三种回应的开关？

研究者在回答里检测了 11 种特征，每一种都是一个可能的心理线索：

归因语、显式 URL、可检验证据、markdown 链接、不确定性表达（"可能""大概""在大多数情况下"）、完整拒绝、部分拒绝、请求确认（"要不要我核实一下？"）、推理痕迹（"让我一步步分析"）、回答长度、模型身份声明。

统计方法上，他们对每个特征单独拟合多项逻辑回归模型，以"接受"为参照，估计该特征出现与不出现时"查证"和"质疑"的相对风险比（RRR）；置信区间按对话聚类；九项稳定检验用 Benjamini–Hochberg 方法做假发现率校正。方法论的严谨程度，在行为类型的论文里算得上一流水准。

结果出人意料地平淡：大多数特征既伴随查证、也伴随质疑，方向相同。归因语来了，两种反应都涨；拒绝来了，两种反应都涨；markdown 链接来了，两种反应也都涨。特征在区分"用户会不会审视"上有一定作用，但在区分"用户会以哪种方式审视"上几乎无能为力。唯一在九项校正之后依然能把查证和质疑统计区分开的特征是不确定性表达——查证对接受的 RRR 为 1.10，质疑对接受的 RRR 为 1.04，直接比值的 RRR 为 1.06。百分之六的差异，统计上显著，实质上微弱。

换句话说：只看回答的措辞，你几乎无法预测用户接下来是要证据还是要吵架。 AI 觉得"我加了不确定性提示，用户应该会更谨慎"——确实更谨慎了，但谨慎的方向它控制不了。

不过有几组数字值得放进记忆的抽屉：

• 部分拒绝（"这个我不能完全回答，但是……"）：与查证的 RRR 为 1.83，与质疑的 RRR 为 2.09。AI 说"不行"的时候，用户发难的可能性接近翻倍——拒绝本身就是最强的审视触发器，只是你无法预知引来的是追问还是对抗。
• 在平台固定效应模型里，显式 URL 与查证的 RRR 为 1.73、与质疑的 RRR 为 1.86；可检验证据对应 1.66 和 1.77。给链接确实会引来更多审视——但这恰恰是健康生态的表征：有东西可查，才值得去查。空洞的"研究表明"反而把审视引向了情绪性的质疑。
• 稀疏特征（markdown 链接 1,133 个阳性对、拒绝 2,159 个阳性对）的估计不稳定性更高，作者老老实实地标注了哪些对比"不可估计"（NE），哪些置信区间宽到没有信息量。

🎯 问题的性质，比措辞更有预言力

措辞不是钥匙，那什么是？

研究者把对话按开场主题分成了七类：写作、实务指导、信息检索、技术求助、多媒体、自我表达、其他。然后问：任务语境本身能不能预测用户的审视行为？

答案相当干脆：能，而且比回答特征强得多。 只用开场主题、意图和对话位置这几个语境变量，宏平均 AUC 就有 0.592；只靠回答特征只有 0.551。语境赢了，赢得不多但在预料之中——真实世界的用户行为怎么可能被回答里的几个词语开关完全解释？

更有趣的是语境和特征的交叉效应，这里的数据开始有了叙事性：

• 在技术求助类对话里，不确定性表达明显偏向诱发查证——你正在排查服务器的内存泄漏，AI 说"可能是缓存没有释放"，你的自然反应不是吵架，而是"怎么确认？看哪个指标？"
• 在信息检索类对话里，拒绝和推理痕迹更偏向诱发质疑——你问一个事实问题，AI 支支吾吾或者来一段"让我一步步想想"，你更容易觉得它在表演思考而非进行思考。
• 同一段推理痕迹，在 ShareChat 和 WildChat 两个语料里关联的方向都不同——语料的收集方式、界面特征、用户构成不同，同一个"开关"的效应就会翻转。脱离语料谈"某个设计特征的效果"是危险的，这是在大量HCI研究翻过车之后依然值得重复的基本功。

这一节的教训是费曼式的：别问"某个特征有没有用"，要问"对谁、在什么任务里、在哪种对话里有用"。 一个 hedge（模糊措辞）在维修场景里是邀请诊断的脚手架，在问答场景里是可疑的闪烁其词。意义不在词里，在词与场景的关系里。

📐 测量的严谨：合格对与有效性边界

论文里反复出现一个术语"合格对"（qualifying pairs），它不是随意的过滤，而是整套效度设计的基石。

不是每一对"AI回答+用户回应"都进入行为分析。比如用户回复"哈哈好的""谢谢"这类不含实质内容的搭话，既不算接受也不算质疑——它们被剔除。只有用户的回应可以被解读为对回答内容的实质性反应时，这对才被标记为合格。作者给了一套明确的判定边界：混合行为里质疑优先于查证、查证优先于接受；代码手册里写清了竞争性断言规则。最终的分类器在三类判定上的精确度都经过了人工审核。

为什么要这么较真？因为"信任"和"审视"都是看不见的心理状态，研究能观察到的只有行为痕迹。把"没有追问"直接等同于"信任"是一种效度陷阱——用户可能出了门就把答案忘了，也可能 independently 去搜索引擎核实了（这种行为在导出记录里不可见）。作者对此非常坦诚：接受这个标签捕捉的是"没有可见的审视"，不是"内心相信"；行为分析刻画的是记录里保存的行为，不是私人的信任。边界划在"观测可及"上，结论的分量也就以此为限。

另一个严谨之处在统计推断。所有行为模型都按对话聚类计算置信区间——同一场对话里的回合不是独立样本，忽略这一点会严重低估标准误。九项稳定的直接对比用 Benjamini–Hochberg 程序控制假发现率。稀疏特征（阳性对太少的）诚实地标注"不可估计"而不是硬给数字。这些细节单独看枯燥，合起来构成了一种态度：在49万对对话的体量上，任何微小的统计显著都可能没有实质意义——作者选择用置信区间的宽度说话，而不是用星号的数量。

🏘️ 怀疑也分"社区"

最后一组分析把目光从单个回合抬升到整场对话。28.7% 的平均审视率之下，藏着怎样的地形？

答案是高度的不均匀。

在所有包含至少 5 个合格交换轮的 18,847 场对话中，整体审视率 28.7%，但最高十分位的对话，其审视率从 70.63% 起步——1,885 场对话里，超过七成的回合用户都在查证或质疑。组内相关系数（ICC）为 0.207，调整协变量后 0.184。翻译一下：如果你随机挑同一场对话里的两个回合，它们的审视行为相关程度，大约是同类型不同对话之间差异所能解释的两成还多。

主题差异也符合直觉：技术求助（14.0%）和信息检索（12.4%）类对话里"审视密集型"对话的比例，远高于写作类（5.2%）。修电脑的人反复追问，写文案的人大体放行。怀疑不是均匀降落的雨，而是聚集成团的云。

但如果你只看回合之间的时间序列，你会被一个幻觉骗到。表面上，前一个回合发生了审视，后一个回合也发生审视的过量比例高达 25.5 个百分点——看起来像是"一旦开始怀疑就停不下来"的动量效应，像是某种情绪的传染性。可是这个幻觉经不起控制：一旦加上对话固定效应（即只比较同一场对话内部的先后次序），这个数字从 +25.5 跌到了 −2.9 个百分点。把面板拉长到 8 个合格回合以上，+2.7；10 回合以上，+3.9；用最保守的分半面板刀切法重估，+7.6（bootstrap CI [5.7, 8.7]）。

相邻回合的严格转移分析给这个判断盖了章：查验之后接着查验的过量重复是 13.6 个百分点，其中只有约 2.8 个百分点与顺序本身有关；质疑的对应数字是 24.6 和 6.3。约五分之四的"连续怀疑"来自对话之间的差异，只有约五分之一来自对话内部的顺序。

翻译成人话：大部分的连续怀疑不是动量，而是人。 是某些用户本身就是高审视型，是某些话题天然引发反复核查，是某些对话从第一句开始就剑拔弩张。一旦人的因素被固定，回合顺序本身留下的痕迹小得惊人。

⚖️ 把三块拼图拼起来

现在拼全景。这篇论文用四个研究问题（RQ1 特征流行度、RQ2 汇总关联、RQ3 任务与语料分层、RQ4 对话级聚类与序列）织成了一张网，四个答案互相咬合，缺一块都不完整：

1. 账本（RQ1）：每 24 句"研究说"，只有 1 句给出可检验来源；归因语与URL几乎不相关，Perplexity 近四成引用悬空。 2. 行为：28.7% 的回合发生审视，其中查证和质疑是两种不同需求；不确定性是唯一能在统计上区分两者的特征，但效应微弱；任务语境比回答措辞预测力强。 3. 分布：审视高度集中在少数对话，回合之间的"传染"大部分是幻觉，真实原因是人的异质性。

对做评测和产品的人，这篇论文的结论近乎当头棒喝。作者的建议可以拆成四条：

第一，把"提到权威"和"给出可检验来源"分开计分。 否则透明度指标奖励的是修辞密度，不是证据可及性。

第二，把查证和质疑分开衡量。 查证需要可追溯的支持材料，质疑需要对异议的实质回应。产品评测不该以"追问变少了"作为信任建立的证据——用户可能只是放弃了，而放弃的代价不会在平均数里显形。

第三，按对话而不是按回合评估。 平均值掩盖了那 1,885 场审视密集型的对话。在那些对话里，机器如何回应反复的核查请求、它是否最终交出了来源、它是否正面处理了纠正——这些才是评估应该对焦的地方。

第四，按任务和语料分层报告。 在 ShareChat 上有效的提示策略，在 WildChat 上可能适得其反；在技术求助里有效的措辞，在信息检索里可能是灾难。一个 cue 在控制实验中闪亮登场，换了场景可能就销声匿迹——本研究里推理痕迹在两个语料中方向相反，就是最直接的证据。

这四条建议背后是一个更朴素的立场：用户表达的审视行为，是这个信息生态里最好的免费传感器。不需要昂贵的实验室，不需要侵入性的日志追踪——只要认真听他们接下来说了什么。

作者还留了一句温和的伦理提醒，值得原样转述：验证功能的设计负担分布是不均的——一个要求用户不停查证的界面把劳动推给了用户，一个只发"研究说"的界面制造虚假的安全感。两条路都不好走，而在走任何一条之前，需要直接的、以用户为中心的评估。

对了，论文末尾还有一条大多数读者会跳过的"生成式AI使用声明"：作者承认用生成式AI辅助了文稿润色和代码修改，但所有分析的设计、执行、核查和解释由作者本人负责。在写一篇"研究AI如何被审视"的论文时选择公开自己的AI使用——这个细节本身就是对主题的回应。

🌌 尾声：二十四比一

回到开头的凌晨一点。你问药能不能同服，AI 说"根据多项临床研究和药理学指南"。你现在知道了三件事：第一，你大约有七成的概率会直接接受；第二，如果你追问，AI 大概率给不出链接，因为账本上是 24:1；第三，如果你属于那十分之一的"高审视型"用户，这场对话的接下来几轮很可能都在查证与反驳之间拉锯。

这篇论文没有给出解决方案——它是一篇测量论文，它的贡献是把这个此前无人量化的信息环境首次清晰地刻画出来。用费曼的话说，首先是把现象看对，然后才有资格谈怎么改。而在明天和后天，这个连载的第二篇和第三篇将分别解剖另外两个方向：当机器面对隐私请求时，它能不能守住"谁有资格问"的分寸；当机器被要求"扮演一个人"时，它内部的剧场和输出的台词之间，隔着多远的距离。

二十四比一。这个比例就是当下人机信任的现状：借条满天飞，兑现没几回。

最后留一个开放问题。作者的伦理声明提到，"一个只发研究说的界面制造虚假的安全感"——但如果反过来，把每一个回答都钉死到来源上，用户会从此放下怀疑吗？1913 年出版的《大英百科全书》全文可查，读它的人并没有停止思考。可检验性不是信任的对立面，它是信任唯一配得上站立的地面。

---

参考文献

• Biswas, A., & Lin, Y.-R. (2026). *Signals, Evidence, and Context: User Scrutiny in Real-World LLM Conversations*. arXiv:2611.08232 [cs.AI]. University of Pittsburgh.
• Bansal, G., Wu, T., Zhou, J., et al. (2021). Does the whole exceed its parts? The effect of AI explanations on complementary team performance. *CHI 2021*.
• Buçinca, Z., Malaya, M. B., & Gajos, Z. P. (2021). To trust or to think: Cognitive forcing functions can reduce overreliance on AI. *PACM HCI*, 5(CSCW1).
• Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate. *JRSS-B*, 57(1).
• Chatterji, A., et al. (2025). *How People Use ChatGPT*. NBER Working Paper 34255.
• Allen Institute for AI. (2025). *WildChat-4.5m Dataset Card*. Hugging Face Datasets.

#每日论文 #arxiv #信任与核验 #人机交互 #LLM透明度 #证据可及性 #小凯