[论文] New LoRA Skills Should Read but Never Write

研究领域: ML 作者: Zeyan Li, Panqi Yang, Qirong Guo, Shengda Zhuo, SIyuan Qiu, Hu Xu, Chun Li, Jianfeng Xu 发布时间: 2026-09-25 arXiv: 2609.31600

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Zeyan Li, Panqi Yang, Qirong Guo, Shengda Zhuo, SIyuan Qiu, Hu Xu, Chun Li, Jianfeng Xu 发布时间: 2026-09-25 arXiv: 2609.31600

中文摘要

低秩适配器(LoRA)让大语言模型按任务廉价微调成为可能,但把多个独立训练的适配器合并进一个模型仍然困难:在权重空间直接合并更新会引起干扰,在所有任务数据上重训代价高昂,而在多个独立适配器之间做路由则背离了“单一合并模型”的目标。我们将困难追溯到每种组合方法都在隐式做出的两个选择。其一,LoRA 更新存在无穷多个等价分解;当适配器单独使用时这一选择不可见,但它决定了适配器之间学习到的交互“能看到什么”。其二,新旧技能之间的耦合可以指向任一方向,而方向决定了旧技能能否继续计算它原本计算的东西。我们提出 READ(Read-only Expansion of Adapter Deltas,适配器增量的只读扩展),同时固定这两个选择:每个适配器被重写为一种精确保持其更新的平衡典范形式;耦合只单向增长——新技能可以读取旧技能的输入子空间,但不能写入它们的输出子空间。每次追加新技能时唯一可训练的对象是新技能在耦合矩阵中的那一行,且合并后的更新直接折叠进基座权重,无推理开销、无需路由、无需任务特定规则。我们在四个基准套件和两个模型家族上评测 READ,每次只增加一个技能。READ 在多个模型家族上将每个套件的平均分都提升超过由相同适配器构建的最强已发表基线——SuperGLUE 提升逾 20 分、领域套件提升逾 7 分——且几乎所有完整的“逐次叠加”序列最终都高于所有直接基线。单个适配器从不暴露的分解坐标与耦合方向,正是决定组合技能能否存活的关键。

原文摘要

Low-rank adapters (LoRA) make it cheap to fine-tune a large language model once per task, but combining several independently trained adapters into one model remains difficult: merging the updates in weight space causes interference, retraining on all task data is expensive, and routing between separate adapters gives up the goal of a single combined model. We trace the difficulty to two choices that every composition method makes implicitly. A LoRA update admits infinitely many equivalent factorizations; the choice among them is invisible while an adapter serves alone, but it determines what a learned interaction between adapters can see. A coupling between an old skill and a new one can likewise point in either direction, and the direction decides whether the old skills keep computing wh...


*自动采集于 2026-09-29*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

八个格子里有两个是红的,全在 BBH。摘要说「每个套件平均都超过」,表 1 不是这么写的。

READ:BBH 是那个例外

一、表 1 里的两个负号

对每个 model×suite 格取「最强可折叠替代」:Llama-3.2-3B 上 GLUE +19.2、SuperGLUE +17.8、Domain +4.1、BBH −1.4(0.445 对 0.459);Qwen3-4B 上 GLUE +6.3、SuperGLUE +8.8、Domain +5.8、BBH −2.3(0.770 对 0.793)。32 条完整叠加序列赢 24 输 8,八条全在 BBH。

二、摘要的两个数对不上

摘要写「SuperGLUE 逾 20 分、领域套件逾 7 分」。表 1 实算是 SuperGLUE +17.8(Llama)/+8.8(Qwen),Domain +4.1 / +5.8——20 和 7 在两列里都找不到。真实的总账是 +0.073 macro(32 条 lineage 对 14 个替代里最强者)。

三、机制部分站得住

规范化把等价分解造成的分数离散从 2.8 分压到 0.7 分;完整因子实验里六组坐标—方向组合的终态 macro 差距不超过 0.017 且置信区间重叠。也就是说「规范形 + 单向耦合」买的是稳健性,不是平均分——这个定位论文自己说清了。

四、对照组有多惨

Llama GLUE 上 14 个可折叠替代里 7 个跑出负分(Task Arithmetic −0.083、DARE −0.085、LoRA-LEGO −0.097、Compress-then-Merge −0.167);Fisher 合并的 incoming closure 低到 −4522.8%,意思是合并完的 bank 离 refit 目标比起点更远。赢这样的对手,含金量要按对手成色打折。

五、「零推理开销」是真的

B_stack G A_stack 直接折进基座权重,不路由、无任务规则;追加一次只训练耦合矩阵里新技能的那一行,其余全冻结。92 次合格追加里 READ 过 72 次。LoRA 全部 r=8、α=16、只挂 q/v 投影,配方统一。

下一根钉子:BBH 为什么例外。是知识推理类任务天然要写旧技能的输出子空间,还是 r=8 太窄。等一张 BBH 逐任务的分解表,这个设计边界才算画完。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens