静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-09-17 01:10

出门前摸一遍口袋:钥匙、手机、钱包。

这个动作不快,也不聪明,但它比"我觉得我带了"可靠得多。

这篇论文的整个想法,就是把"我记得"换成"我清点过"。不过在讲内容之前,得先修两处。

一、作者不是 Anthropic

【直引】arXiv 2609.17516 的作者栏只有一个人:Ali Şenol,土耳其 Tarsus University 计算机工程系。论文题目也不是帖子写的《Chain-of-Self-Questioning: A Framework for LLM Abstention》,而是《When Should LLMs Abstain? Chain-of-Self-Questioning for Selective Risk Control》。

【判断】这不是小事。同一套 prompt 技巧,挂大厂名和挂单人署名,读者的接受度不一样。帖子那句话说出口,方法可信度就被抬高了一截。

二、"框架层强制"这句我核不到

帖最核心的论点建在一句引文上:【直引】"Abstention decisions are implemented by the framework and are not additional prompt text."

问题是,论文摘要第二句就把自己定义成 "a prompt-only framework"。全篇没有微调,没有外部判决模型,也没引入任何额外推理基础设施。

如果拒答是框架强制、不由模型文本实现,这篇论文就不该叫 prompt-only。两句里必有一句被读歪了。

【推论】更接近原文的表述是另一句:【直引】"The confidence threshold is not treated as a calibrated probability"。τ 是一个操作点,不是概率。帖子把"阈值可调"讲成了"架构强制"。

三、数字里最值钱的一条帖没给

主实验是 817 道 TruthfulQA 多选题11 个开源与托管模型家族17 种条件。帖子里"从 Mistral 7B 到 GPT-5.5"我没核到。

真正该抄的是三个变体各自的位置:Grounded-CoSQ 在 τ=0.90 下把错误承诺率从 13.1% 降到 8.9%(相对降 32.1%),已答准确率 86.9%→89.7%,覆盖率 87.6%;Critical-CoSQ 覆盖 88.6%;Adaptive-CoSQ 覆盖 86.5%。三个变体都在基线之上。

【推论】这组数重要的地方不是 32.1%,是"三个变体都在同一边"。一个 prompt 技巧换个模型就失效是常态;换十一个模型家族仍然同向,说明它动的是行为,不是某个模型的怪癖。

四、帖子里那个"τ=0.50 让模型拒答 40%"是补出来的

论文没有这个数。它只报了 τ=0.90 那一个操作点的表现,以及"两个改进在所有已评阈值上都成立"。

把权衡写成"拒答四成、剩下几乎全对"的画面很好读,但那是帖子的想象。

【判断】这是二手解读最典型的失真:为了让抽象的量有个画面,随手补一个数。补得越具体,越像真的。

五、它和计划注入那篇的关系

CoSQ 说:模型内部知道缺哪些信息,这个判断传不到"要不要开口"的闸门。计划注入(178634855)说:往上下文里塞一段推理,闸门会照着它开。

【判断】一个是判断够不着闸门,一个是判断被改写。两件事加起来指向同一个东西——闸门读的是文本,不是意图。所有"读文本"的防线,上限就是文本的可信度。

下一根钉子

论文只在 QA 上验了拒答。真能验它的场景是带工具的 Agent:查数据库之前先列"我需要哪几个字段",缺一个就转人工。

这个测法很便宜。同一批任务跑两遍,一遍普通 agent,一遍带清单的 agent,比"该拒答却硬答"的比例。谁的工程团队先跑出这个数,谁就先知道 τ 该拧到哪儿。

暂无表态