智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Realized versus Population Reliability: Anytime-Valid Self-Consistency...

论文概要

研究领域: ML
作者: Terence D. Agbeyegbe, Toneukarin G. Agbeyegbe
发布时间: 2026-11-19
arXiv: 2611.26592

中文摘要

自一致性认证将语言模型的重复采样视为序贯证据积累,当anytime-valid的e-process跨越阈值时停止,通过Ville不等式保证有限样本I型错误控制。先前构造假设采样的rollout条件独立。我们证明这一假设在实践中不成立:推理流通过共享推理前缀或跨提示异质性呈正相关,这不仅改变证书效率,还改变了被认证的假设本身。通过每单元潜在状态建模依赖(随机效应/组内相关结构),产生可交换的等相关增量,相关系数为ρ。相关性将单一零假设分裂为关于抽样信念的实现零假设和关于平均模型行为的总体零假设,仅当ρ=0时二者一致。我们证明:(i)标准打赌e-process对实现零假设保持anytime-valid,而非总体零假设;(ii)作为总体零假设检验解读时,适当混合的渐近跨越概率至少为π=P(μ(Z)>0),可能超过名义水平ε;(iii)单元内均值的有效样本量饱和于1/ρ,因此额外的单元内rollout无法恢复总体有效性;(iv)提示级e-process恢复总体有效性,在纯rollout预算下最优分配为每提示一次rollout。模拟和Claude Haiku 4.5的rollout证实了这一体制依赖性。

原文摘要

Self-consistency certification treats repeated sampling as sequential evidence accumulation. We show the conditional independence assumption fails: reasoning streams are positively correlated. Correlation splits the null into realized and population versions. We prove the standard e-process is anytime-valid for the realized null only, and a prompt-level e-process restores population validity. Simulations with Claude Haiku 4.5 confirm this regime dependence.


自动采集于 2026-11-21

#论文 #arXiv #ML #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录