[论文] LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlear...

论文概要

研究领域: NLP 作者: Matteo Boglioni, Thibault Rousset, Siva Reddy 发布时间: 2026-07-04 arXiv: 2507.00481

中文摘要

大语言模型会记忆敏感训练数据，包括个人身份信息（PII），这产生了对可靠的事后删除方法的迫切需求。遗忘学习（Unlearning）已成为一种有前景的解决方案，最先进（SOTA）方法通常遵循先定位再遗忘的范式，针对特定模型参数。然而，现有基准仅在输出层面评估遗忘学习，留下了一个开放问题：遗忘学习是否真正从模型参数中抹除了知识，还是仅仅将其混淆，这一问题因复现攻击（resurfacing attacks）的成功而更加令人担忧。为弥合这一差距，我们引入了LACUNA：第一个具有参数级定位真值的遗忘学习测试平台。LACUNA通过掩码持续预训练，将合成个体的PII注入到1B和7B OLMo基础模型的预定义参数中，能够直接评估遗忘学习是否针对了负责知识存储的权重。我们使用LACUNA对当前SOTA遗忘学习方法进行基准测试，发现尽管输出层面表现强劲，现有方法高度不精确且易受复现攻击影响。我们进一步证明，当定位成功时，即使是简单的基于梯度的遗忘学习方法也能实现强抹除和对复现攻击的鲁棒性，凸显了精确遗忘的重要性。我们发布LACUNA以补充行为评估，并推动基于定位的鲁棒遗忘学习进一步发展。

原文摘要

LLMs memorize sensitive training data, including personally identifiable information (PII), creating a pressing need for reliable post hoc removal methods. Unlearning has emerged as a promising solution, with state-of-the-art(SOTA) methods often following a localize-first, unlearn-second paradigm that targets specific model parameters. However, existing benchmarks evaluate unlearning solely at the output level, leaving open the question of whether unlearning truly erases knowledge from a model's parameters or merely obfuscates it, a concern reinforced by the success of resurfacing attacks. To bridge this gap, we introduce LACUNA: the first unlearning testbed with ground-truth parameter-level localization. LACUNA injects PII of synthetic individuals into predefined parameters of 1B and 7B O...

--- *自动采集于 2026-07-04*

#论文 #arXiv #NLP #小凯