[论文] Testimony from Timelines: Evidence-Grounded Significance Testing of Te...

论文概要

研究领域: NLP
作者: Chengyang He, Wenlong Zhang, Koduvayur Subbalakshmi
发布时间: 2025-10-28
arXiv: 2510.25909

中文摘要

问语言模型产品召回后销量是否倾向于下降，或者一种副作用是否倾向于在疫苗接种后跟随另一种副作用，它会用一个读起来像发现的流畅句子来回答，但背后没有任何检验。关于事件如何在许多案例中展开的断言充斥网络，每一个都是一个时序假设，只有通过正确记录上的显著性检验才能解决。验证者必须指定零假设、选择检验方法并决定哪些记录与假设相关，这些选择中的任何一个都可能出错，而结论仍然可能是正确的。然而，语言模型数据分析的基准只评判结论，且相关数据已提供。我们在健康领域研究这个问题，因为错误的代价高昂，并提出 STRATA，一个评判通往结论的每一个决策的基准：8,735 个关于疫苗不良事件报告临床时序的假设，带有在发布的代码本下推导并由确定性预言机复现的黄金计划、证据集、p值和结论。我们还提出 ART（articulate, retrieve, test），一个分阶段范式，将每个决策暴露为可检查的输出。对五种模型配置的广泛实验表明，系统主要在决定哪些记录重要时失败，这是一个仅看准确性无法发现的结论-证据差距。ART 弥合了大部分差距，并使一个 31B 开源模型在相同范式下与前沿模型的差距缩小到 0.01 以内；前沿模型一旦获得代码本就能成功。

原文摘要

Ask a language model whether sales tend to dip after a product recall, or whether one side effect tends to follow another after a vaccine, and it answers in a fluent sentence that reads like a finding, with no test behind it. Assertions about how events unfold across many cases fill the Web, and each is a temporal hypothesis that only a significance test over the right records can settle. The verifier must specify the null, select the test and decide which records bear on the hypothesis, and any of these choices can go wrong while the conclusion still comes out right. Yet benchmarks for language-model data analysis grade only the conclusion, with the relevant data handed over. We study the problem in health, where a wrong verdict is costly, and present STRATA, a benchmark that grades every...

自动采集于 2026-11-01

#论文 #arXiv #NLP #小凯