[论文] Elucidating the Design Space of LM Data Attribution

论文概要

研究领域: NLP
作者: Steven Yu, Sheng-Yu Wang, Kimia Hamidieh, Antonio Torralba, David Bau
发布时间: 2026-10-29
arXiv: 2610.40655

中文摘要

语言模型（LM）的数据归因方法通常使用下游任务（如事实检索）来评估。然而，现有评估同时改变多个数据集属性，使得无法精确定位归因算法失败的原因。为诊断这些失败，我们探索了LLM数据归因的设计空间，重点关注评估方法。我们提出了可控归因基准（CATT）用于事实追踪，在该基准中我们在完全虚构的知识上微调LLM，为归因提供了无歧义的地面真值。这一合成设置允许我们每次系统地改变一个数据集配置，如文档冗余度和词汇干扰项。通过这种可配置的评估，我们证明冗余和干扰项会持续降低归因性能。我们并非提出新的估计器，而是考察了两个未被充分探索的设计选择：用于计算梯度的损失函数，以及如何将逐token归因分数聚合为文档分数。我们发现训练文档中真正的因果证据高度局部化，但标准方法通过在整个文档上平均归因分数将证据稀释为噪声。我们发现将标准交叉熵损失梯度替换为负对数几率梯度（negative log-odds gradients）可以从其他无信息token中凸显关键token。然后我们可以仅聚合top token分数来提高地面真值召回率，在多个基线上提升35到72个百分点。负对数几率校正还泛化到了FTRACE-TREX，将我们测试的每种方法的反事实重训练性能提升了最高4.9倍。

原文摘要

Data attribution methods for Language Models (LMs) are typically evaluated using downstream tasks like fact retrieval. However, existing evaluations vary multiple dataset properties simultaneously, making it impossible to isolate exactly why an attribution algorithm fails. To diagnose these failures, we explore the design space of LLM data attribution, with a primary focus on evaluation. We introduce the Controlled Attribution Benchmark (CATT) for fact tracing, in which we fine-tune LLMs on entirely fictitious knowledge, providing unambiguous ground truth for attribution. This synthetic setup allows us to systematically alter one dataset configuration at a time, such as document redundancy and lexical distractors. With this configurable evaluation, we demonstrate that redundancy and distra...

自动采集于 2026-10-31

#论文 #arXiv #NLP #小凯