Hyperbolic Multimodal Continual Learning: A Closest-Admissible Solution

📄 arXiv: 2609.29329v1 📥 PDF

作者: Jiahong Liu, Ming Shen, Xiaohao Liu, Rex Ying, Menglin Yang, Tat-Seng Chua, Irwin King

分类: cs.CV, cs.AI

发布日期: 2026-09-24

备注: 49 pages, 10 figures, 11 tables

💡 一句话要点

提出超曲面多模态持续学习方法以解决几何保持问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超曲面学习 多模态学习 持续学习 几何保持 参数更新

📋 核心要点

  1. 现有的持续学习方法未能有效保持超曲面多模态模型中的几何结构，导致学习关系的扭曲。
  2. 论文提出的HMCL方法通过共享超曲面等距变换来保持多模态几何，确保任务间的相似性和语义层次。
  3. 实验结果显示，HMCL在16个任务的分类-检索流中表现优异，相较于传统方法和基线提升了最终性能和反向迁移能力。

📝 摘要（中文）

现有的持续学习方法主要保护参数、重放示例或使用欧几里得特征子空间，但在超曲面多模态模型中未能明确保持洛伦兹几何，导致任务得分保留但扭曲了先前学习的关系。为此，本文提出超曲面多模态持续学习（HMCL），通过将所有模态限制为一个共享的超曲面等距变换，来保持旧的多模态几何。我们提出了一种联合最接近可接受（CA）修正，能够保留与候选模态更新最佳匹配的共享旋转。实验表明，HMCL在多个基准上显著提升了最终性能和反向迁移能力。

🔬 方法详解

问题定义：现有的持续学习方法在超曲面多模态模型中未能有效保持洛伦兹几何，导致在任务更新时扭曲了先前学习的关系，影响模型的整体性能。

核心思路：本文提出的HMCL方法通过将所有模态限制为一个共享的超曲面等距变换，来保持旧的多模态几何结构，从而避免学习关系的扭曲。

技术框架：HMCL的整体架构包括两个主要模块：共享超曲面等距变换和最接近可接受（CA）修正。CA修正通过保留最佳匹配的共享旋转来调整参数更新。

关键创新：HMCL的核心创新在于提出了一种联合最接近可接受修正，能够有效保持多模态几何结构，显著改善了任务间的相似性和语义层次。

关键设计：在参数设置上，HMCL使用AdamW优化器，并通过最小旋转（MR）特例将共享旋转固定为零，从而减少了参数更新的扭曲。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HMCL在16个任务的分类-检索流中，相较于传统的顺序微调和四个持续学习基线，显著提高了最终性能和反向迁移能力。HMCL-CA在每个基础模型上均获得了最高的整体得分，且在表示分析中发现81.2%至95.5%的径向、角度、跨模态和配对距离漂移减少。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、自然语言处理和计算机视觉等，能够有效提升模型在动态环境中的学习能力和适应性。未来，HMCL方法可能在智能机器人、自动驾驶等领域发挥重要作用，推动持续学习技术的发展。

📄 摘要（原文）

Existing continual-learning methods protect parameters, replayed examples, or Euclidean feature subspaces. When applied to hyperbolic multimodal models, they do not explicitly preserve the Lorentz geometry that jointly encodes within-modality similarity, cross-modal correspondence, and semantic hierarchy; sequential updates can therefore retain task scores while still distorting previously learned relations. We address this gap with Hyperbolic Multimodal Continual Learning (HMCL). We show that preserving the old multimodal geometry amounts to restricting all modalities to one shared hyperbolic isometry, which induces a family of admissible first-order parameter changes. We formulate a joint closest-admissible (CA) correction that retains the shared rotation best matching the candidate modal updates; its minimal-rotation (MR) special case fixes this rotation to zero. Both variants correct the displacement realized by AdamW, and task anchoring bounds within-task accumulation while preserving learning freedom. Across a unified 16-task classification-retrieval stream with three hyperbolic backbones, HMCL improves final performance and backward transfer over sequential fine-tuning and four continual-learning baselines; HMCL-CA gives the highest Overall score on every backbone. A modality-extended stream confirms the retrieval gains. Representation analyses find 81.2 to 95.5 percent less radial, angular, cross-modal, and paired-distance drift; ImageNet-WordNet results show better semantic ancestry and radial hierarchy.