[论文] LoRA-generating hypernetworks for efficient on-device LLM generative p...

论文概要

研究领域: ML 作者: Sean Augenstein, Li Ding, Jihwan Lee, Keith Rush, Andrey Zhmoginov 发布时间: 2026-09-21 arXiv: 2609.24979

中文摘要

端侧大语言模型（如运行在手机上）非常适合通过个性化来改进。移动设备有限的计算资源限制了模型规模和质量，因此任何可实现的质量提升都具有重要影响。同时，设备的个人属性意味着给定的端侧 LLM 往往会随时间呈现相似、可预测的使用模式。本文提出一种个性化端侧 LLM 的新方法：训练一个超网络，将用户的上下文 token 映射为适合该用户的低秩适配（LoRA）权重。训练好的公共组件部署到用户设备后，每个用户即可使用超网络在设备端 entirely 合成个性化的 LoRA。该方法兼具现有两种 LLM 定制方法的优点而避免了各自的缺点：与上下文学习（ICL）类似（不同于 PEFT），本方法的端侧阶段计算可行，仅需神经网络前向传播；与 PEFT 类似（不同于 ICL），本方法通过权重（LoRA）修改目标基础 LLM，避免了因扩展输入序列带来的负面效应（如延迟增加）。我们的方法特别适合移动设备场景：除了端侧计算和延迟优势外，由于架构在内部部分复用目标 LLM 的权重，几乎不需要额外存储空间。我们在多个代表性个性化数据集上验证了 LoRA 生成超网络的优势，并与 ICL、PEFT 等基线进行了比较。值得注意的是，我们的个性化实验聚焦于更具挑战性且较少被研究的长文本生成任务。

原文摘要

On-device large language models (LLMs'), e.g. running on mobile phones, are ripe for improvement via personalization. The limited compute resources of mobile devices impose limits on model scale and thus model quality, making any realizable quality gains highly impactful. At the same time, their personal nature (i.e., the close coupling to a particular user) means that a given on-device LLM tends to be used in similar, predictable patterns over the course of time. This paper presents a novel method for personalizing on-device LLMs. It trains a hypernetwork to map a user's context tokens to a low-rank adaptation (LoRA') well-suited to that user. Once the trained common artifacts are deployed to users' devices, each user uses the hypernetwork to synthesize (entirely on device) a personaliz...

#论文 #arXiv #ML #小凯