Neural Incompatibility: The Unbridgeable Gap of Cross-Scale Parametric Knowledge Transfer in Large Language Models

📄 arXiv: 2505.14436v1 📥 PDF

作者: Yuqiao Tan, Shizhu He, Kang Liu, Jun Zhao

分类: cs.CL, cs.AI

发布日期: 2025-05-20

备注: Accepted by ACL'25 Main. Code link: https://github.com/Trae1ounG/Neural_Incompatibility

🔗 代码/项目: GITHUB

💡 一句话要点

揭示大语言模型跨尺度参数知识迁移的神经不兼容性难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 参数知识迁移 知识蒸馏 模型对齐 神经不兼容性

📋 核心要点

  1. 现有知识迁移方法依赖符号语言，缺乏直接的参数知识转移(PKT)能力，尤其是在不同规模LLM之间。
  2. 论文提出预对齐PKT (PrePKT)范式，通过LaTen方法在训练前对齐不同尺度LLM的参数空间，减少后续微调成本。
  3. 实验表明，后对齐PKT (PostPKT)和PrePKT都难以实现稳定转移，揭示了LLM间“神经不兼容性”这一根本挑战。

📝 摘要（中文）

大型语言模型(LLMs)提供了透明的“大脑”，其可访问的参数编码了广泛的知识，这些知识可以被分析、定位和转移。因此，一个关键的研究挑战是超越传统的基于符号语言的知识转移范式，实现真正的参数知识转移(PKT)。探索通过参数在不同尺度LLM之间转移知识的有效方法，是一个有趣且有价值的研究方向。本文首先证明了参数空间中的对齐是实现成功的跨尺度PKT的根本前提。我们将先前探索的知识转移重新定义为后对齐PKT (PostPKT)，它利用提取的参数进行LoRA初始化，并需要后续微调以进行对齐。因此，为了降低进一步微调的成本，我们引入了一种新的预对齐PKT (PrePKT)范式，并提出了一种名为LaTen (Locate-Then-Align)的解决方案，该方案仅使用几个训练步骤即可对齐跨尺度的LLM的参数空间，而无需进行后续训练。在四个基准上的综合实验表明，PostPKT和PrePKT在实现一致稳定的转移方面都面临挑战。通过深入分析，我们发现神经不兼容性是不同尺度的LLM之间的伦理和参数结构差异，这对实现有效的PKT提出了根本性的挑战。这些发现为LLM的参数架构提供了新的见解，并突出了未来高效PKT研究的有希望的方向。

🔬 方法详解

问题定义：论文旨在解决不同规模大型语言模型（LLMs）之间参数知识迁移（PKT）的难题。现有方法，如基于LoRA初始化的PostPKT，需要大量的后续微调才能实现知识对齐，成本较高。此外，不同规模LLM的参数结构差异导致直接迁移效果不佳。

核心思路：论文的核心思路是，在进行参数知识迁移之前，先对齐不同规模LLM的参数空间。通过预对齐（Pre-Align）的方式，减少后续微调的需求，从而降低迁移成本并提高迁移效果。论文认为，参数空间对齐是实现有效跨尺度PKT的根本前提。

技术框架：论文提出了LaTen (Locate-Then-Align) 框架，包含两个主要阶段：定位（Locate）和对齐（Align）。首先，定位需要迁移的知识对应的参数；然后，通过少量训练步骤，对齐不同规模LLM的参数空间。该框架旨在最小化后续微调的需求，实现高效的参数知识迁移。

关键创新：论文的关键创新在于提出了PrePKT范式和LaTen方法，强调了参数空间对齐在跨尺度PKT中的重要性。与传统的PostPKT方法相比，PrePKT试图在迁移前解决参数空间不对齐的问题，从而降低了对后续微调的依赖。此外，论文还揭示了LLM间“神经不兼容性”这一根本挑战，为未来的研究方向提供了新的视角。

关键设计：LaTen方法的关键设计在于如何有效地对齐参数空间。具体的技术细节未知，摘要中只提到“only using several training steps without following training”，需要阅读论文全文才能了解具体的参数设置、损失函数、网络结构等技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，无论是PostPKT还是PrePKT，在实现一致稳定的跨尺度参数知识迁移方面都面临挑战。这一发现揭示了LLM之间存在“神经不兼容性”，即不同规模LLM在结构和参数上的差异，阻碍了有效的知识迁移。具体的性能数据和对比基线需要在论文全文中查找。

🎯 应用场景

该研究成果可应用于知识蒸馏、模型压缩和迁移学习等领域。通过更有效地在不同规模的LLM之间迁移知识，可以降低模型训练成本，提高模型性能，并促进LLM在资源受限环境中的部署。未来的研究可以探索如何克服“神经不兼容性”，实现更稳定、高效的跨尺度PKT。

📄 摘要（原文）

Large Language Models (LLMs) offer a transparent brain with accessible parameters that encode extensive knowledge, which can be analyzed, located and transferred. Consequently, a key research challenge is to transcend traditional knowledge transfer paradigms rooted in symbolic language and achieve genuine Parametric Knowledge Transfer (PKT). Significantly, exploring effective methods for transferring knowledge across LLMs of different scales through parameters presents an intriguing and valuable research direction. In this paper, we first demonstrate $\textbf{Alignment}$ in parametric space is the fundamental prerequisite to achieve successful cross-scale PKT. We redefine the previously explored knowledge transfer as Post-Align PKT (PostPKT), which utilizes extracted parameters for LoRA initialization and requires subsequent fine-tune for alignment. Hence, to reduce cost for further fine-tuning, we introduce a novel Pre-Align PKT (PrePKT) paradigm and propose a solution called $\textbf{LaTen}$ ($\textbf{L}$oc$\textbf{a}$te-$\textbf{T}$h$\textbf{e}$n-Alig$\textbf{n}$) that aligns the parametric spaces of LLMs across scales only using several training steps without following training. Comprehensive experiments on four benchmarks demonstrate that both PostPKT and PrePKT face challenges in achieving consistently stable transfer. Through in-depth analysis, we identify $\textbf{Neural Incompatibility}$ as the ethological and parametric structural differences between LLMs of varying scales, presenting fundamental challenges to achieving effective PKT. These findings provide fresh insights into the parametric architectures of LLMs and highlight promising directions for future research on efficient PKT. Our code is available at https://github.com/Trae1ounG/Neural_Incompatibility.