Never Start from Scratch: Expediting On-Device LLM Personalization via Explainable Model Selection

📄 arXiv: 2504.13938v1 📥 PDF

作者: Haoming Wang, Boyuan Yang, Xiangyu Yin, Wei Gao

分类: cs.LG, cs.AI, cs.CL, cs.HC

发布日期: 2025-04-15

备注: 15 pages

期刊: in Proceedings of the 23rd ACM International Conference on Mobile Systems, Applications, and Services (MobiSys), 2025

💡 一句话要点

XPerT：通过可解释模型选择加速设备端LLM个性化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 设备端LLM 个性化 可解释性 模型选择 微调

📋 核心要点

  1. 设备端LLM个性化面临计算资源有限和用户数据不足的双重挑战，现有方法难以兼顾效率与效果。
  2. XPerT通过选择已个性化的LLM进行微调，并利用可解释性来指导模型选择，从而提高个性化效率。
  3. 实验表明，XPerT显著降低了设备端LLM个性化的计算成本，并提高了数据利用效率，具有实际应用价值。

📝 摘要（中文）

大型语言模型（LLM）的个性化在实际应用中至关重要，以满足不同移动用户的个性化需求。由于数据隐私问题，LLM个性化通常需要在用户移动设备本地完成，但这种设备端个性化受到设备计算能力和用户个人数据不足的限制。本文通过使用用户个人数据微调已个性化的LLM来解决这些限制，并提出了一种名为XPerT的新技术，该技术基于对已个性化LLM微调方式的可解释性，确保正确选择这些已个性化的LLM。在各种具有主流LLM的智能手机模型上实施和评估了XPerT，实验结果表明，XPerT将设备端LLM个性化的计算成本降低了83%，并将其数据效率提高了51%。

🔬 方法详解

问题定义：论文旨在解决在移动设备上进行LLM个性化时，由于计算资源有限和用户数据不足而导致的效率低下问题。现有的从头开始训练或微调LLM的方法，在设备端面临着巨大的计算压力和数据需求，难以快速适应用户的个性化需求。

核心思路：论文的核心思路是利用已经个性化的LLM作为起点，而不是从头开始训练。通过选择与当前用户数据最相关的已个性化LLM进行微调，可以显著减少计算量和数据需求。关键在于如何选择合适的已个性化LLM，这需要对已有个性化模型的训练过程进行理解和解释。

技术框架：XPerT的技术框架主要包含以下几个阶段：1) 已个性化LLM库构建：收集并存储多个已使用不同用户数据进行个性化的LLM。2) 可解释性分析：对每个已个性化LLM进行可解释性分析，提取其个性化训练过程中的关键特征和影响因素。3) 模型选择：基于当前用户数据和已个性化LLM的可解释性信息，选择最适合进行微调的LLM。4) 微调：使用当前用户数据对选定的LLM进行微调，得到最终的个性化LLM。

关键创新：XPerT的关键创新在于利用可解释性来指导模型选择。通过分析已个性化LLM的训练过程，可以了解其对不同类型数据的敏感程度和适应能力，从而选择最适合当前用户数据的LLM。这与传统的盲目选择或随机选择相比，能够更有效地利用已有个性化信息，提高个性化效率。

关键设计：论文中可能涉及的关键设计包括：1) 可解释性分析方法：例如，使用attention机制或梯度分析等方法来提取已个性化LLM的关键特征。2) 模型选择策略：例如，使用相似度度量或分类器来评估当前用户数据与已个性化LLM之间的相关性。3) 微调策略：例如，使用低秩适应（LoRA）等参数高效微调方法来减少计算量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，XPerT能够显著降低设备端LLM个性化的计算成本，降低幅度高达83%。同时，XPerT还能够提高数据效率，提升幅度达到51%。这些数据表明，XPerT在设备端LLM个性化方面具有显著的优势，能够有效解决现有方法的不足。

🎯 应用场景

该研究成果可广泛应用于各种需要设备端LLM个性化的场景，例如智能助手、个性化推荐、智能客服等。通过降低计算成本和提高数据效率，XPerT使得在资源受限的移动设备上实现高质量的LLM个性化成为可能，从而提升用户体验和应用价值。未来，该技术还可以扩展到其他类型的模型和设备，具有广阔的应用前景。

📄 摘要（原文）

Personalization of Large Language Models (LLMs) is important in practical applications to accommodate the individual needs of different mobile users. Due to data privacy concerns, LLM personalization often needs to be locally done at the user's mobile device, but such on-device personalization is constrained by both the limitation of on-device compute power and insufficiency of user's personal data. In this paper, we address these constraints by fine-tuning an already personalized LLM with user's personal data, and present XPerT, a new technique that ensure proper selection of such already personalized LLMs based on explainability about how they were being fine-tuned. We implemented and evaluated XPerT on various smartphone models with mainstream LLMs, and experiment results show that XPerT reduces the computation costs of on-device LLM personalization by 83%, and improves its data efficiency by 51%.