HydraLLM: Adaptive Width Slicing for Elastic Text and Vision-Language Models

📄 arXiv: 2610.23455v1 📥 PDF

作者: Oscar Kemme, Janek Haberer, Ali Hojjat, Olaf Landsiedel

分类: cs.CL, cs.LG

发布日期: 2026-10-16

备注: Accepted at the BabyLM Workshop at EMNLP 2026

💡 一句话要点

提出HydraLLM以解决多模态模型在异构硬件上的适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弹性模型 多模态推理 知识蒸馏 动态调整 注意力机制

📋 核心要点

  1. 现有的LLMs和LVLMs在异构硬件上的应用受到固定架构的限制，难以满足不同的计算和延迟需求。
  2. HydraLLM通过动态调整注意力头的数量，形成弹性架构，支持多种参数配置以适应不同的硬件环境。
  3. 实验表明，HydraLLM在TriviaQA上比基线提高了2.2个百分点，并在生成吞吐量上提升了75.3%。

📝 摘要（中文）

随着大规模语言模型（LLMs）和视觉语言模型（LVLMs）在异构硬件上的广泛应用，其固定架构限制了模型在不同计算、延迟和模型大小目标下的重用能力。本文提出了HydraLLM，一种基于弹性多头注意力（MQA）的架构，通过动态调整活跃的注意力头数量，形成嵌套子网络。我们还引入了静态到弹性转换管道，包括重要性驱动的权重重排序和知识蒸馏的随机子网络训练。实验结果表明，HydraLLM在多模态推理中表现出色，能够在不同的参数配置下实现更高的准确性和生成效率。

🔬 方法详解

问题定义：本文旨在解决大规模语言模型在异构硬件上应用时的适应性问题。现有模型的固定架构限制了其在不同计算和延迟需求下的重用能力，导致资源浪费和性能瓶颈。

核心思路：HydraLLM的核心思想是通过动态调整活跃的注意力头数量，形成一个嵌套的子网络架构，使得模型能够根据具体的硬件环境灵活调整参数配置，从而提高效率和准确性。

技术框架：HydraLLM的整体架构包括一个静态到弹性转换管道，首先从预训练模型检查点开始，进行重要性驱动的权重重排序，然后通过知识蒸馏进行随机子网络训练。此外，还引入了弹性投影模块，使得输出宽度与活跃文本宽度相匹配。

关键创新：HydraLLM的主要创新在于其弹性多头注意力机制，能够在同一参数集内形成多种有效宽度的嵌套子网络。这一设计使得模型在不同的硬件环境下具备更高的灵活性和适应性。

关键设计：在设计上，HydraLLM通过调整活跃的注意力头数量来控制嵌入、注意力投影、前馈层和输出头的有效宽度。重要性驱动的权重重排序和随机子网络训练是实现弹性架构的关键步骤。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，HydraLLM在75%的注意力头活跃时，TriviaQA的准确率比最先进的基线提高了2.2个百分点，且参数量增加了17.25%。在50%的头活跃时，其多模态模型的CLIPScore与7倍参数的Gemma 3 4B模型相当。此外，在仅25%的头活跃时，生成吞吐量提升了75.3%。

🎯 应用场景

HydraLLM的研究成果具有广泛的应用潜力，尤其是在需要在资源受限的边缘设备和高性能数据中心之间灵活部署的场景中。其弹性架构能够有效提升多模态模型的性能，适用于智能助手、自动驾驶、智能监控等领域，未来可能推动更多智能应用的发展。

📄 摘要（原文）

LLMs and LVLMs are increasingly deployed across heterogeneous hardware, ranging from data-center GPUs to resource-constrained edge devices. Their fixed-size architectures limit the ability to reuse a single model across deployment settings with different compute, latency, and model-size targets. We introduce HydraLLM, an elastic MQA-based architecture. Its number of active attention heads determines the effective widths of the embeddings, attention projections, feed-forward layers, and the output head, forming a nested family of subnetworks within a single parameter set. We introduce a static-to-elastic conversion pipeline that, starting from a pre-trained model checkpoint, includes importance-driven weight reordering and stochastic subnetwork training with knowledge distillation. We extend this principle to multimodal inference through an elastic projection module whose output width follows the active text width. HydraLLM covers a wider range of active parameter configurations than FFN-only elastic architectures. With 75% of heads active, HydraLLM achieves 2.2 percentage points higher TriviaQA accuracy than a state-of-the-art nested baseline configuration which has 17.25% more parameters. With 50% of heads active, our multimodal model achieves a CLIPScore comparable to that of the 7$\times$ larger Gemma 3 4B model. With only 25% of heads active, HydraLLM increases token-generation throughput by 75.3% over the full-width configuration.