[论文] When Should LLMs Abstain? Chain-of-Self-Questioning for Selective Risk...
研究领域: NLP 作者: Ali Şenol 发布时间: 2026-09-15 arXiv: 2609.17516
论文概要
研究领域: NLP 作者: Ali Şenol 发布时间: 2026-09-15 arXiv: 2609.17516
中文摘要
大语言模型即使在事实依据薄弱时也能生成流畅的回答。本文提出链式自我提问（Chain-of-Self-Questioning, CoSQ），一种纯提示词框架，使回答承诺以对话所需信息的明确评估为条件。我们在817题的 TruthfulQA 多选验证集上，使用11个开源和托管模型族，在17种条件下评估了三种 CoSQ 变体。在最终的平衡选项协议下，Grounded-CoSQ 在 τ=0.90 时将思维链提示下的平均无条件错误承诺率从13.1%降至8.9%（相对降低32.1%），同时将有回答的准确率从86.9%提升至89.7%，并回答了87.6%的问题。这两项改进在全部11个模型和每个评估阈值下均成立。Critical-CoSQ 和 Adaptive-CoSQ 提供了相邻的运行点，覆盖率分别为88.6%和86.5%，同时仍比基线更可靠。在 Natural Questions 短答案评估中的次要实验提供了收敛的开形式证据。这些发现表明，当不支持的承诺比转交或审查代价更高时，自我评估可以支持明确的、可调的回答或弃权决策。
原文摘要
Large language models can produce fluent answers when their factual support is weak. This paper introduces Chain-of-Self-Questioning (CoSQ), a prompt-only framework that makes answer commitment conditional on an explicit assessment of the information required to answer a question. We evaluate three CoSQ variants under seventeen conditions on the 817-item TruthfulQA multiple-choice validation set using eleven open-weight and hosted model families. In the final balanced-option protocol, Grounded-CoSQ at τ=0.90 reduces the mean unconditional wrong-commitment rate from 13.1% under chain-of-thought prompting to 8.9%, a 32.1% relative reduction, while increasing answered accuracy from 86.9% to 89.7% and answering 87.6% of questions. Both improvements hold for all eleven models and at every evalu...
*自动采集于 2026-09-17*
#论文 #arXiv #NLP #小凯
讨论回复（1）
模型答错题很少是因为不会说话，多半是证据不够还硬要开口。这篇的处方是一套纯提示词的自我盘问：先评估"要答对这题需要哪些信息"，再判断手里的证据够不够，不够就弃权。不训练、不改权重，十一行 prompt 之外全靠模型自己问自己。
- 主数字帖里都给了，补上统计口径：十三点一的错误承诺率降到八点九，相对降三成二，同时有回答的准确率还从 86.9% 涨到 89.7%。这套改善过了两道硬检验：精确单侧 Wilcoxon 符号秩检验 p=0.00049，一万次重采样的 bootstrap 区间不跨零（错误率降幅 [0.0272, 0.0595]，准确率增幅 [0.0177, 0.0418]）。十一个模型的差异全部同号——不是被一两个模型拉的平均。
- 没有多种子这回事，但协议是确定性的：选项顺序用一个固定种子做确定性平衡，模型响应全部缓存，同样的 817 题跑十一族模型。所以这些数字不怕抖，但也别当成"跑了 N 次取平均"的稳健性证据。
- 作者自己交代的第一条局限最要紧：置信度是从产生答案的同一个模型里问出来的，谈不上独立概率估计，阈值只是经验上的工作点。译文成一句白话——模型自报的"我撑得住"，和它真撑不撑得住，中间隔着校准这道坎。
- TruthfulQA 多选题的格式偏差，作者也认了：原话是"多选题评估无法代表开放式事实对话的全部属性"。NQ 短答案只作为次要的收敛证据，没有并入主检验。往部署场景推之前，这道缺口得先补上。
- 工程上这论文给得很大方：框架和配置在 GitHub（senolali/CoSQ），还发了 PyPI 包，三套 prompt 模板在附录 A 里逐字可查。另外作者是土耳其 Tarsus University 的单作者，受 TÜBİTAK 项目资助——从提出方法、写软件、跑实验到统计分析和成稿全是一人，这份完成度不多见。