Hyperdimensional Cross-Modal Alignment of Frozen Language and Image Models for Efficient Image Captioning

📄 arXiv: 2602.23588v1 📥 PDF

作者: Abhishek Dalvi, Vasant Honavar

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-02-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出HDFLIM，通过超维计算对齐冻结的语言和图像模型，实现高效图像描述生成。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态对齐 超维计算 图像描述生成 冻结模型 零样本学习

📋 核心要点

  1. 现有跨模态对齐方法依赖于计算密集的多模态微调，资源消耗大且易扰乱预训练表示。
  2. HDFLIM通过将单模态嵌入投影到共享超维空间，利用符号操作构建跨模态表示，无需修改模型参数。
  3. HDFLIM在图像描述生成任务上达到与端到端训练方法相当的性能，且生成标题更具语义基础。

📝 摘要（中文）

大型单模态视觉和语言基础模型编码了丰富的语义结构，但对齐它们通常需要计算密集型的多模态微调。这些方法依赖于大规模的参数更新，资源消耗大，并且会扰乱预训练的表示。然而，新兴的证据表明，独立训练的基础模型可能已经表现出潜在的语义兼容性，反映了它们所建模数据中的共享结构。这提出了一个根本问题：是否可以在不修改模型本身的情况下实现跨模态对齐？本文介绍了一种名为HDFLIM（基于超维计算的冻结语言和图像模型）的框架，该框架在保持预训练的视觉和语言模型完全冻结的情况下，建立跨模态映射。HDFLIM将单模态嵌入投影到共享的超维空间中，并利用轻量级的符号操作——绑定、捆绑和基于相似性的检索，以单次数据传递构建关联的跨模态表示。标题生成源于高维记忆检索，而不是迭代的基于梯度的优化。实验表明，HDFLIM实现了与端到端视觉-语言训练方法相当的性能，并生成比零样本基线更具有语义基础的标题。通过将对齐与参数调整分离，我们的结果表明，可以通过对各自嵌入的超维编码进行符号操作来实现基础模型之间的语义映射。更广泛地说，这项工作指向了一种基础模型对齐的替代范例，其中冻结模型通过结构化的表示映射而不是通过大规模的重新训练来集成。

🔬 方法详解

问题定义：现有方法在对齐预训练的视觉和语言模型时，通常需要进行耗时的多模态微调，这不仅需要大量的计算资源，还会影响预训练模型的性能。因此，如何在不修改模型参数的情况下，实现高效的跨模态对齐是一个关键问题。

核心思路：HDFLIM的核心思路是利用超维计算（Hyperdimensional Computing, HDC）的特性，将视觉和语言模型的嵌入投影到一个共享的超维空间中。在这个空间中，通过符号操作（如绑定、捆绑）来建立跨模态的关联，从而实现对齐。这种方法避免了对模型参数的直接修改，保持了预训练模型的原有能力。

技术框架：HDFLIM的整体框架包括以下几个主要阶段：1) 使用预训练的视觉和语言模型提取图像和文本的嵌入；2) 将这些嵌入投影到共享的超维空间中；3) 在超维空间中，使用绑定操作将图像和文本的表示进行关联，形成记忆；4) 对于新的图像，提取其嵌入并投影到超维空间，然后通过相似性检索，从记忆中找到最相关的文本描述。

关键创新：HDFLIM最重要的创新点在于它能够在完全冻结预训练模型的情况下，实现跨模态的对齐。与传统的微调方法相比，HDFLIM避免了对模型参数的修改，从而保留了预训练模型的泛化能力。此外，HDFLIM利用超维计算的特性，通过简单的符号操作实现了高效的跨模态关联。

关键设计：HDFLIM的关键设计包括：1) 选择合适的超维空间维度（例如，10000维）；2) 使用随机投影或其他方法将视觉和语言嵌入映射到超维空间；3) 设计合适的绑定和捆绑操作，以建立跨模态的关联；4) 使用余弦相似度或其他度量方法，在超维空间中进行相似性检索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HDFLIM在图像描述生成任务上取得了与端到端微调方法相当的性能，同时避免了对预训练模型的修改。实验结果表明，HDFLIM生成的标题在语义上比零样本基线更准确。代码已开源，方便研究人员复现和进一步研究。

🎯 应用场景

HDFLIM具有广泛的应用前景，例如零样本图像描述生成、跨模态信息检索、视觉问答等。该方法可以应用于资源受限的场景，例如移动设备或嵌入式系统，因为其计算复杂度较低。此外，HDFLIM还可以作为一种通用的跨模态对齐框架，用于集成各种预训练的视觉和语言模型，从而构建更强大的多模态系统。

📄 摘要（原文）

Large unimodal foundation models for vision and language encode rich semantic structures, yet aligning them typically requires computationally intensive multimodal fine-tuning. Such approaches depend on large-scale parameter updates, are resource intensive, and can perturb pretrained representations. Emerging evidence suggests, however, that independently trained foundation models may already exhibit latent semantic compatibility, reflecting shared structures in the data they model. This raises a fundamental question: can cross-modal alignment be achieved without modifying the models themselves? Here we introduce HDFLIM (HyperDimensional computing with Frozen Language and Image Models), a framework that establishes cross-modal mappings while keeping pretrained vision and language models fully frozen. HDFLIM projects unimodal embeddings into a shared hyperdimensional space and leverages lightweight symbolic operations -- binding, bundling, and similarity-based retrieval to construct associative cross-modal representations in a single pass over the data. Caption generation emerges from high-dimensional memory retrieval rather than iterative gradient-based optimization. We show that HDFLIM achieves performance comparable to end-to-end vision-language training methods and produces captions that are more semantically grounded than zero-shot baselines. By decoupling alignment from parameter tuning, our results suggest that semantic mapping across foundation models can be realized through symbolic operations on hyperdimensional encodings of the respective embeddings. More broadly, this work points toward an alternative paradigm for foundation model alignment in which frozen models are integrated through structured representational mappings rather than through large-scale retraining. The codebase for our implementation can be found at https://github.com/Abhishek-Dalvi410/HDFLIM.