LoRA-generating hypernetworks for efficient on-device LLM generative personalization

📄 arXiv: 2609.24979v1 📥 PDF

作者: Sean Augenstein, Li Ding, Jihwan Lee, Keith Rush, Andrey Zhmoginov

分类: cs.LG

发布日期: 2026-09-21

备注: 19 pages, 4 figures

💡 一句话要点

提出LoRA生成超网络以实现高效的设备端LLM个性化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化模型 超网络 低秩适应 移动设备 长文本生成 计算效率 机器学习

📋 核心要点

  1. 现有的个性化方法在移动设备上受限于计算资源，导致模型规模和质量受限，难以实现有效的个性化。
  2. 本文提出通过训练超网络，将用户上下文映射到低秩适应（LoRA），在设备端合成个性化模型，兼顾计算效率与模型质量。
  3. 实验结果显示，该方法在多个个性化数据集上优于基线方法ICL和PEFT，特别是在长文本生成任务中表现突出。

📝 摘要（中文）

本文提出了一种新颖的方法，通过训练超网络将用户的上下文标记映射到适合该用户的低秩适应（LoRA），以实现设备端大型语言模型（LLM）的个性化。该方法在用户设备上合成个性化的LoRA，避免了现有个性化方法的缺陷，具有计算可行性和存储效率。实验结果表明，该方法在长文本生成任务中表现优异，展示了其在个性化领域的潜力。

🔬 方法详解

问题定义：本文旨在解决移动设备上大型语言模型个性化的挑战，现有方法如ICL和PEFT在计算资源和模型质量上存在不足。

核心思路：通过训练一个超网络，将用户的上下文信息映射到适合该用户的低秩适应（LoRA），实现个性化模型的高效生成。该设计旨在兼顾计算效率与个性化效果。

技术框架：整体架构包括超网络训练阶段和设备端合成阶段。超网络在云端训练，生成的模型参数在用户设备上使用，用户通过超网络合成个性化的LoRA。

关键创新：该方法的核心创新在于结合了ICL的灵活性和PEFT的参数高效性，避免了输入序列扩展带来的负面影响，同时保持了计算的可行性。

关键设计：在模型设计中，超网络的结构与目标LLM共享部分权重，减少了存储需求，并且在训练过程中采用了适当的损失函数以优化个性化效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoRA生成超网络在多个个性化数据集上优于基线方法ICL和PEFT，尤其在长文本生成任务中，性能提升显著，展示了该方法的有效性和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在移动设备上的个性化助手、智能聊天机器人和内容生成工具等领域。通过实现高效的个性化，用户体验将显著提升，未来可能推动更多个性化服务的发展。

📄 摘要（原文）

On-device large language models (LLMs'), e.g. running on mobile phones, are ripe for improvement via personalization. The limited compute resources of mobile devices impose limits on model scale and thus model quality, making any realizable quality gains highly impactful. At the same time, their personal nature (i.e., the close coupling to a particular user) means that a given on-device LLM tends to be used in similar, predictable patterns over the course of time. This paper presents a novel method for personalizing on-device LLMs. It trains a hypernetwork to map a user's context tokens to a low-rank adaptation (LoRA') well-suited to that user. Once the trained common artifacts are deployed to users' devices, each user uses the hypernetwork to synthesize (entirely on device) a personalized LoRA. This approach blends the benefits while avoiding the drawbacks of two existing approaches to LLM customization: in-context learning (ICL') and parameter-efficient fine-tuning (PEFT'). Like ICL (and unlike PEFT), the on-device phase of our approach is computationally feasible, requiring only forward passes through neural networks. Like PEFT (and unlike ICL), our approach modifies the `target' base LLM via weights (the LoRA), avoiding negative consequences (e.g. increased latency) associated with extending the input sequence. Our approach is particularly well-suited to the mobile device regime. Apart from the on-device compute and latency benefits mentioned, it also requires minimal additional storage, as internally its architecture partly leverages the same LLM weights as belong to the target LLM to be personalized. We demonstrate the benefits of LoRA-generating hypernetworks on several representative personalization datasets, comparing against baselines like ICL and PEFT. Of note, our personalization experiments focus on more challenging and less studied long-form text generation tasks.