DenoMAE: A Multimodal Autoencoder for Denoising Modulation Signals

📄 arXiv: 2501.11538v1 📥 PDF

作者: Atik Faysal, Taha Boushine, Mohammad Rostami, Reihaneh Gh. Roshan, Huaxia Wang, Nikhil Muralidhar, Avimanyu Sahoo, Yu-Dong Yao

分类: cs.LG

发布日期: 2025-01-20

💡 一句话要点

提出DenoMAE，用于噪声环境下调制信号的去噪与分类

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 自编码器 调制信号去噪 自动调制分类 掩码自编码器

📋 核心要点

  1. 现有调制信号去噪方法在噪声环境下性能受限，且需要大量标注数据。
  2. DenoMAE利用多模态自编码器，显式地将噪声作为一种模态进行学习，提升跨模态学习能力。
  3. 实验表明，DenoMAE在自动调制分类任务中达到SOTA，并显著减少了对标注数据的需求。

📝 摘要（中文）

本文提出了一种新颖的多模态自编码器框架Denoising Masked Autoencoder (DenoMAE)，用于预训练期间调制信号的去噪。DenoMAE通过引入包括噪声作为显式模态的多种输入模态，扩展了掩码自编码器的概念，以增强跨模态学习并提高去噪性能。该网络使用未标记的含噪调制信号和星座图进行预训练，有效地学习重建其等效的无噪声信号和图。DenoMAE在自动调制分类任务中实现了最先进的精度，且训练样本显著减少，与现有方法相比，未标记预训练数据减少了10%，标记微调数据减少了3%。此外，我们的模型在不同的信噪比（SNR）下表现出强大的性能，并支持对未见过的较低SNR进行外推。结果表明，DenoMAE是一种高效、灵活且数据高效的解决方案，用于在具有挑战性的噪声密集环境中去噪和分类调制信号。

🔬 方法详解

问题定义：在无线通信等领域，调制信号常常受到噪声的干扰，导致信号质量下降，影响后续的信号处理和解调。现有的调制信号去噪方法通常需要大量的标注数据进行训练，并且在低信噪比环境下性能表现不佳。因此，如何在有限的标注数据下，有效地去除调制信号中的噪声，提高信号质量，是一个重要的研究问题。

核心思路：DenoMAE的核心思路是利用多模态自编码器，将含噪调制信号和对应的星座图作为输入，同时将噪声显式地作为一种模态进行建模。通过学习含噪信号与无噪信号之间的映射关系，以及含噪星座图与无噪星座图之间的映射关系，从而实现信号的去噪。这种多模态学习的方式可以有效地利用不同模态之间的互补信息，提高去噪的鲁棒性和准确性。

技术框架：DenoMAE的整体架构是一个典型的自编码器结构，包括编码器和解码器两部分。编码器接收含噪调制信号和星座图作为输入，并将其编码成一个低维的潜在表示。解码器则根据这个潜在表示，重建无噪的调制信号和星座图。为了显式地建模噪声，DenoMAE将噪声也作为一种输入模态，与含噪信号和星座图一起输入到编码器中。整个网络采用掩码自编码器的思想，随机地掩盖一部分输入，然后让解码器重建被掩盖的部分，从而提高模型的泛化能力。

关键创新：DenoMAE最重要的技术创新点在于其多模态的输入方式，以及将噪声显式地作为一种模态进行建模。与传统的自编码器只接收单一模态的输入不同，DenoMAE同时接收含噪信号、星座图和噪声作为输入，从而可以更全面地学习信号的特征。此外，通过将噪声显式地建模，DenoMAE可以更好地理解噪声的特性，从而更有效地去除噪声。

关键设计：DenoMAE的关键设计包括以下几个方面：1) 多模态输入：同时输入含噪信号、星座图和噪声；2) 掩码自编码器：随机掩盖一部分输入，提高泛化能力；3) 损失函数：采用均方误差损失函数，衡量重建信号与原始信号之间的差异；4) 网络结构：编码器和解码器均采用多层感知机或卷积神经网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DenoMAE在自动调制分类任务中取得了显著的性能提升。与现有方法相比，DenoMAE在减少10%的未标记预训练数据和3%的标记微调数据的情况下，仍然能够达到最先进的精度。此外，DenoMAE在不同的信噪比下表现出强大的鲁棒性，并且能够对未见过的较低信噪比进行外推。

🎯 应用场景

DenoMAE可应用于无线通信、雷达信号处理、医学图像处理等领域，用于提高信号质量、改善数据分析结果。该研究有助于在恶劣噪声环境下提升通信系统的可靠性，并降低对高质量训练数据的依赖，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

We propose Denoising Masked Autoencoder (Deno-MAE), a novel multimodal autoencoder framework for denoising modulation signals during pretraining. DenoMAE extends the concept of masked autoencoders by incorporating multiple input modalities, including noise as an explicit modality, to enhance cross-modal learning and improve denoising performance. The network is pre-trained using unlabeled noisy modulation signals and constellation diagrams, effectively learning to reconstruct their equivalent noiseless signals and diagrams. Deno-MAE achieves state-of-the-art accuracy in automatic modulation classification tasks with significantly fewer training samples, demonstrating a 10% reduction in unlabeled pretraining data and a 3% reduction in labeled fine-tuning data compared to existing approaches. Moreover, our model exhibits robust performance across varying signal-to-noise ratios (SNRs) and supports extrapolation on unseen lower SNRs. The results indicate that DenoMAE is an efficient, flexible, and data-efficient solution for denoising and classifying modulation signals in challenging noise-intensive environments.