[论文] Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-tr...

论文概要

研究领域: ML 作者: Zachary Speck, Asa Shepard 发布时间: 2026-08-19 arXiv: 2608.19168

中文摘要

单个训练样本对完成模型的贡献通常是估计而非测量的，因为测量它需要两次昂贵的完整预训练运行，仅在一个批次的一行上有所不同。我们在小规模下运行了该反事实24次。我们在四个条件和八个种子下从头训练32个124M参数的GPT-2模型，在OpenWebText上。在9,536步的第200步，在峰值学习率时，我们将256行批次中的一行替换为携带194-token段落的固定上下文注入。三个注入条件是：1. 语料库证实的主题的流畅散文，2. 与其在完整批次梯度delta上匹配到0.14%的编造主题的流畅散文，3. 随机键盘字符。第四个条件是未注入的双胞胎。该段落从一次曝光中学习，然后衰减。注入后50步，看到段落的臂比未看到的臂在段落上预测更好，差异为0.039和0.044 nats的交叉熵，在八个种子中的八个上，p<10^-4。在最后一步，我们对任一段落都未检测到该差异，p=0.25和p=0.71，对抗最小可检测效应0.025和0.079 nats，两个段落之间也未检测到，p=0.54。我们报告的每个几何测量都在衰减之后获取。我们预注册的插值损失障碍对比为+0.0068，p=0.509，对抗最小可检测效应0.032障碍单位。Held-out交叉熵为-0.00044，p=0.310。每层居中核对齐在任何层的任何条件上都没有可检测地分离。权重位移达到种子到种子欧氏距离的44.1%，并在训练中点之前92%稳定，而障碍达到种子到种子障碍的3.0%。这两个数字大致相距15倍，这是一个下限。注入在 basin 内重新定位模型，而不将其移出。

原文摘要

A single training example's contribution to a finished model is normally estimated rather than measured, because measuring it takes two expensive full pre-training runs that differ in one row of one batch. We ran that counterfactual 24 times at a small scale. We trained 32 GPT-2 models at 124M parameters from scratch on OpenWebText, over four conditions and eight seeds. At step 200 of 9,536, at peak learning rate, we replaced one row of a 256-row batch with a fixed context injection carrying a 194-token passage. The three injected conditions are: 1. fluent prose with a corpus-attested subject, 2. fluent prose with a fabricated subject matched to it within 0.14% on full-batch gradient delta, and 3. random keyboard characters. The fourth condition is an uninjected twin. The passage is learne...

--- *自动采集于 2026-08-21*

#论文 #arXiv #ML #小凯