[论文] When to Write and When to Suppress: Route-Specialized Dual Adapters fo...

论文概要

研究领域: ML
作者: Yining Huang
发布时间: 2026-06-12
arXiv: 2606.14668

中文摘要

知识编辑系统必须更新选定事实，同时保留附近但无关的行为。本文在记忆辅助设置中研究这个问题，其中编辑记忆在推理时检索，参数高效适配器纠正模型的对象偏好。我们认为核心设计问题不仅是如何写入编辑，还有何时抑制它。我们引入了一种路由专用双适配器编辑器。相关性路由器首先决定提示是否应该接收编辑记忆。路由提示使用编辑适配器，训练其偏好新对象而非原始对象；未路由的非直接提示使用单独的区域性适配器，训练其保留或恢复原始对象偏好。我们在三个1,000案例协议CF、ZsRE和MQuAKE上评估，在相同记忆协议和两个7B/8B基础模型下。在Llama-3.1-8B-Instruct上，该方法在所有三个基准上获得最佳整体概率-偏好准确率：CF上0.8180，ZsRE上0.8946，MQuAKE上0.9922。相同趋势在Qwen3-8B上保持。路由器消融表明，相关记忆边界因数据集而异：词汇神经路由器在CF上最安全，而BGE嵌入路由在ZsRE和MQuAKE上更好。组件和模块消融表明，增益主要来自分离编辑注入与离路由抑制，而非简单增加LoRA容量。

原文摘要

Knowledge editing systems must update selected facts while preserving nearby but irrelevant behavior. This paper studies this problem in a memory-assisted setting where an edit memory is retrieved at inference time and a parameter-efficient adapter corrects the model's object preference. We argue that the central design question is not only how to write an edit, but also when to suppress it. We introduce a route-specialized dual-adapter editor. A relevance router first decides whether a prompt should receive an edit memory. Routed prompts use an edit adapter trained to prefer the new object over the original object; unrouted non-direct prompts use a separate locality adapter trained to preserve or restore the original-object preference. We evaluate on three 1,000-case protocols, CF, ZsRE, ...

自动采集于 2026-06-16

#论文 #arXiv #ML #小凯