Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks

📄 arXiv: 2512.24793v1 📥 PDF

作者: Shota Suzuki, Satoshi Ono

分类: cs.LG, cs.NE

发布日期: 2025-12-31

期刊: IEICE Transactions on Information and Systems, Vol.E108.D, No. 6, pp. 640-643, 2025

DOI: 10.1587/transinf.2024EDL8018

💡 一句话要点

提出一种自监督多模态神经网络架构搜索方法，解决标注数据依赖问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经架构搜索 多模态学习 自监督学习 深度神经网络 无监督学习

📋 核心要点

  1. 多模态DNN的架构设计复杂，利用NAS可以有效提升性能，但传统NAS方法依赖大量标注数据。
  2. 论文提出一种自监督学习方法，同时应用于架构搜索和模型预训练，从而降低对标注数据的需求。
  3. 实验结果表明，该方法能够仅使用无标注数据，成功搜索出适用于多模态DNN的有效架构。

📝 摘要（中文）

本文提出了一种用于多模态深度神经网络（DNN）架构搜索的自监督学习（SSL）方法。由于多模态DNN需要融合来自多个模态的特征，其结构复杂性使得神经架构搜索（NAS）受益匪浅。然而，通过NAS构建多模态DNN架构需要大量的标注训练数据。因此，本文提出的方法将SSL全面应用于架构搜索和模型预训练过程。实验结果表明，该方法成功地从无标注训练数据中设计了DNN架构。

🔬 方法详解

问题定义：多模态深度神经网络的设计需要考虑不同模态数据的融合方式，手动设计过程繁琐且难以达到最优。神经架构搜索（NAS）可以自动化这一过程，但传统NAS方法通常需要大量的标注数据进行训练和验证，这在实际应用中是一个很大的限制，尤其是在标注数据获取成本高昂的情况下。因此，如何降低NAS对标注数据的依赖是本文要解决的核心问题。

核心思路：本文的核心思路是利用自监督学习（SSL）来替代或减少对标注数据的需求。通过设计合适的自监督任务，使网络能够从无标注数据中学习到有用的特征表示，从而指导架构搜索过程。这样，即使在缺乏标注数据的情况下，也能有效地搜索出适合多模态数据的网络架构。

技术框架：该方法包含两个主要阶段：首先，利用自监督学习对候选网络进行预训练，使其具备一定的特征提取能力。然后，在架构搜索阶段，使用预训练后的网络作为基础，通过某种搜索算法（具体算法未知）来探索不同的网络结构。搜索过程中，使用自监督任务的性能作为评价指标，选择表现最好的架构。整个框架将自监督学习贯穿于架构搜索和模型训练的始终。

关键创新：该方法最关键的创新在于将自监督学习与神经架构搜索相结合，从而解决了多模态DNN架构搜索对大量标注数据的依赖问题。通过自监督学习，网络可以从无标注数据中学习到有用的特征表示，从而为架构搜索提供有效的指导。这种方法使得在标注数据稀缺的情况下，也能有效地搜索出适合多模态数据的网络架构。

关键设计：论文中没有明确给出具体的自监督任务、搜索算法和网络结构细节。但是，可以推测，自监督任务的设计需要与多模态数据的特性相适应，例如，可以采用对比学习、生成式学习等方法。搜索算法可以选择强化学习、进化算法等。网络结构的设计需要考虑不同模态数据的融合方式，例如，可以采用注意力机制、跨模态Transformer等。

📊 实验亮点

论文的主要亮点在于提出了自监督学习驱动的多模态神经网络架构搜索方法，实验结果表明该方法能够在无标注数据上成功搜索出有效的DNN架构。虽然具体的性能数据和对比基线未知，但该方法为解决多模态DNN架构搜索的标注数据依赖问题提供了一种新的思路。

🎯 应用场景

该研究成果可广泛应用于多模态数据分析领域，例如自动驾驶、医疗诊断、视频理解等。在这些领域，往往存在大量的无标注数据，而标注数据的获取成本很高。该方法能够利用这些无标注数据，自动设计出高性能的多模态DNN架构，从而降低模型开发成本，提高模型性能，加速相关技术的落地。

📄 摘要（原文）

Neural architecture search (NAS), which automates the architectural design process of deep neural networks (DNN), has attracted increasing attention. Multimodal DNNs that necessitate feature fusion from multiple modalities benefit from NAS due to their structural complexity; however, constructing an architecture for multimodal DNNs through NAS requires a substantial amount of labeled training data. Thus, this paper proposes a self-supervised learning (SSL) method for architecture search of multimodal DNNs. The proposed method applies SSL comprehensively for both the architecture search and model pretraining processes. Experimental results demonstrated that the proposed method successfully designed architectures for DNNs from unlabeled training data.