Hyperbolic Fine-tuning for Large Language Models

📄 arXiv: 2410.04010v1 📥 PDF

作者: Menglin Yang, Aosong Feng, Bo Xiong, Jihong Liu, Irwin King, Rex Ying

分类: cs.LG, cs.AI, cs.CL, cs.NE

发布日期: 2024-10-05

备注: The preliminary work was accepted for the ICML 2024 LLM Cognition Workshop, and this version includes new investigations, analyses, experiments, and results

💡 一句话要点

提出HypLoRA，一种在双曲空间高效微调大型语言模型的方法，显著提升复杂推理任务性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 双曲空间 低秩自适应 高效微调 复杂推理 非欧几里得几何 庞加莱球模型

📋 核心要点

  1. 现有大型语言模型通常在欧几里得空间中嵌入token，忽略了token分布的非欧几里得特性，可能限制了模型性能。
  2. HypLoRA通过在双曲空间中进行低秩自适应微调，更好地利用token嵌入的潜在树状结构，提升模型对复杂关系的建模能力。
  3. 实验表明，HypLoRA在复杂推理任务上显著提升了大型语言模型的性能，例如在AQuA数据集上提升高达13.0%。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务上表现出了卓越的性能。然而，默认的欧几里得空间是否是LLMs中嵌入token的最佳选择仍然是一个悬而未决的问题。本研究首先调查了LLMs的非欧几里得特性。我们的发现表明，token频率遵循幂律分布，高频token聚集在原点附近，低频token位于更远的位置。此外，token嵌入表现出高度的双曲性，表明嵌入空间中存在潜在的树状结构。基于此，我们提出在双曲空间中高效地微调LLMs，以更好地利用潜在的复杂结构。然而，我们发现，当嵌入和权重矩阵都位于欧几里得空间时，简单地应用指数和对数映射无法实现这种双曲空间中的微调。为了解决这个技术问题，我们引入了一种新的方法，称为双曲低秩高效微调，HypLoRA，它直接在双曲流形上执行低秩自适应，避免了指数和对数映射造成的抵消效应，从而保留了双曲建模能力。通过大量的实验，我们证明了HypLoRA显著提高了LLMs在推理任务上的性能，特别是对于复杂的推理问题。特别地，HypLoRA在复杂的AQuA数据集上的性能提高了高达13.0%，展示了其在处理复杂推理挑战方面的有效性。

🔬 方法详解

问题定义：现有的大型语言模型通常在欧几里得空间中进行token嵌入，而忽略了token频率的幂律分布和嵌入空间中潜在的树状结构（高双曲性）。这种不匹配可能导致模型无法有效地捕捉token之间的复杂关系，尤其是在处理复杂推理任务时。现有方法直接在欧几里得空间进行微调，无法充分利用双曲空间的优势。

核心思路：论文的核心思路是在双曲空间中进行大型语言模型的微调，以更好地适应token嵌入的非欧几里得特性。通过将token嵌入到双曲空间中，模型可以更有效地捕捉token之间的层次关系和复杂依赖，从而提升在复杂推理任务上的性能。HypLoRA旨在解决直接在双曲空间微调的技术难题。

技术框架：HypLoRA的核心在于直接在双曲流形上进行低秩自适应（LoRA）。它避免了将欧几里得空间的参数映射到双曲空间再进行计算，从而避免了指数映射和对数映射可能造成的抵消效应。整体流程包括：1）初始化模型参数；2）将模型参数映射到双曲空间；3）在双曲空间中进行低秩自适应微调；4）评估模型性能。

关键创新：HypLoRA的关键创新在于提出了一种在双曲流形上直接进行低秩自适应的方法。与传统的在欧几里得空间进行微调的方法相比，HypLoRA能够更好地保留双曲空间的建模能力，从而更有效地捕捉token之间的复杂关系。避免了欧几里得空间和双曲空间之间的来回映射，减少了信息损失。

关键设计：HypLoRA的关键设计包括：1）使用庞加莱球模型作为双曲空间的表示；2）采用黎曼优化算法进行参数更新；3）使用低秩矩阵来近似参数更新，以提高微调效率。具体的损失函数和网络结构与原始的LoRA方法类似，但所有计算都在双曲空间中进行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HypLoRA在多个复杂推理任务上显著提升了大型语言模型的性能。特别是在AQuA数据集上，HypLoRA的性能提升高达13.0%，超过了现有的基线方法。此外，实验还表明，HypLoRA在其他推理数据集上也取得了显著的性能提升，验证了其在处理复杂推理挑战方面的有效性。

🎯 应用场景

HypLoRA具有广泛的应用前景，可以应用于各种需要复杂推理能力的大型语言模型。例如，可以用于提升医疗诊断、金融分析、法律咨询等领域的AI系统的性能。此外，HypLoRA还可以应用于自然语言处理的其他任务，如机器翻译、文本摘要等，以提高模型的理解和生成能力。该研究有助于推动非欧几里得几何在深度学习领域的应用。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable performance on various tasks. However, it remains an open question whether the default Euclidean space is the most suitable choice for embedding tokens in LLMs. In this study, we first investigate the non-Euclidean characteristics of LLMs. Our findings reveal that token frequency follows a power-law distribution, with high-frequency tokens clustering near the origin and low-frequency tokens positioned farther away. Additionally, token embeddings exhibit a high degree of hyperbolicity, indicating a latent tree-like structure in the embedding space. Building on the observation, we propose to efficiently fine-tune LLMs in hyperbolic space to better exploit the underlying complex structures. However, we found that this fine-tuning in hyperbolic space cannot be achieved with naive application of exponential and logarithmic maps, when the embedding and weight matrices both reside in Euclidean space. To address this technique issue, we introduce a new method called hyperbolic low-rank efficient fine-tuning, HypLoRA, that performs low-rank adaptation directly on the hyperbolic manifold, avoiding the cancellation effect caused by the exponential and logarithmic maps, thus preserving the hyperbolic modeling capabilities. Through extensive experiments, we demonstrate that HypLoRA significantly enhances the performance of LLMs on reasoning tasks, particularly for complex reasoning problems. In particular, HypLoRA improves the performance in the complex AQuA dataset by up to 13.0%, showcasing its effectiveness in handling complex reasoning challenges