PReD: An LLM-based Foundation Multimodal Model for Electromagnetic Perception, Recognition, and Decision

📄 arXiv: 2603.28183v1 📥 PDF

作者: Zehua Han, Jing Xiao, Yiqi Duan, Mengyu Xiang, Yuheng Ji, Xiaolong Zheng, Chenghanyu Zhang, Zhendong She, Junyu Shen, Dingwei Tan, Shichu Sun, Zhou Cong, Mingxuan Liu, Fengxiang Wang, Jinping Sun, Yangang Sun

分类: cs.AI

发布日期: 2026-03-30

💡 一句话要点

提出PReD：首个电磁领域多模态大模型，实现感知、识别与决策闭环

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电磁感知 多模态大模型 信号识别 智能决策 电磁频谱 多任务学习 基座模型

📋 核心要点

  1. 现有方法在电磁领域面临数据稀缺和领域知识融合不足的挑战，限制了多模态大模型的应用。
  2. PReD通过构建高质量多任务数据集和采用多阶段训练策略，统一了电磁信号的感知、识别和决策任务。
  3. 实验结果表明，PReD在PReD-Bench上取得了SOTA性能，验证了其在电磁信号理解和推理方面的潜力。

📝 摘要（中文）

本文提出了PReD，首个针对电磁(EM)领域的基座模型，覆盖了“感知、识别、决策”的智能闭环。针对电磁领域数据稀缺和领域知识融合不足的挑战，构建了高质量的多任务电磁数据集PReD-1.3M和一个评估基准PReD-Bench。该数据集包含原始时域波形、频域频谱图和星座图等多视角表示，涵盖通信和雷达信号的典型特征。它支持信号检测、调制识别、参数估计、协议识别、射频指纹识别和抗干扰决策等核心任务。PReD采用多阶段训练策略，统一了多个电磁信号任务，实现了从端到端信号理解到语言驱动的推理和决策的闭环优化，显著增强了电磁领域专业知识，同时保持了一般的多模态能力。实验结果表明，PReD在由开源和自收集信号数据集构建的PReD-Bench上实现了最先进的性能，验证了视觉对齐的基座模型在推进电磁信号理解和推理方面的可行性和潜力。

🔬 方法详解

问题定义：现有方法在电磁领域应用多模态大模型时，面临数据稀缺和领域知识融合不足的问题。具体来说，缺乏高质量的、包含多种模态（如时域波形、频域频谱图等）的电磁信号数据集，以及能够有效利用这些数据进行多任务学习的模型框架。这导致模型难以充分理解和推理电磁信号，限制了其在实际应用中的性能。

核心思路：PReD的核心思路是构建一个专门针对电磁领域的基座模型，通过大规模多模态数据的训练，使其具备强大的电磁信号理解和推理能力。该模型采用多阶段训练策略，将多个电磁信号处理任务（如信号检测、调制识别、抗干扰决策等）统一到一个框架中，实现端到端的优化。通过这种方式，PReD能够有效地融合领域知识，并提升模型在电磁领域的泛化能力。

技术框架：PReD的整体架构包含数据收集与构建、模型设计与训练、以及评估与应用三个主要阶段。首先，构建了大规模多任务电磁数据集PReD-1.3M，包含多种模态的电磁信号数据。然后，设计了一个多模态大模型，采用多阶段训练策略，包括预训练、微调和强化学习等阶段。最后，通过PReD-Bench评估模型的性能，并将其应用于实际的电磁信号处理任务中。

关键创新：PReD最重要的技术创新点在于其是首个针对电磁领域的基座模型，能够实现感知、识别和决策的智能闭环。与现有方法相比，PReD不仅能够处理多种模态的电磁信号数据，还能够进行多任务学习，从而更全面地理解和推理电磁信号。此外，PReD还采用了多阶段训练策略，能够有效地融合领域知识，并提升模型的泛化能力。

关键设计：PReD的关键设计包括以下几个方面：1) 数据集构建：PReD-1.3M数据集包含多种模态的电磁信号数据，如原始时域波形、频域频谱图和星座图等。2) 模型架构：PReD采用Transformer架构，能够有效地处理序列数据和多模态数据。3) 损失函数：PReD采用多任务损失函数，能够同时优化多个电磁信号处理任务。4) 训练策略：PReD采用多阶段训练策略，包括预训练、微调和强化学习等阶段。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PReD在PReD-Bench上取得了显著的性能提升，在信号检测、调制识别、参数估计、协议识别、射频指纹识别和抗干扰决策等多个任务上均达到了SOTA水平。相较于现有方法，PReD在多个任务上取得了显著的性能提升，验证了其在电磁信号理解和推理方面的有效性。具体性能数据在论文中详细展示。

🎯 应用场景

PReD在电磁频谱管理、无线通信安全、雷达信号处理等领域具有广泛的应用前景。它可以用于自动识别和分类电磁信号，检测和防御恶意干扰，优化无线通信系统的性能，以及提高雷达系统的探测能力。该研究的实际价值在于提升电磁领域的智能化水平，未来影响包括推动相关技术的创新和发展，促进电磁频谱资源的有效利用。

📄 摘要（原文）

Multimodal Large Language Models have demonstrated powerful cross-modal understanding and reasoning capabilities in general domains. However, in the electromagnetic (EM) domain, they still face challenges such as data scarcity and insufficient integration of domain knowledge. This paper proposes PReD, the first foundation model for the EM domain that covers the intelligent closed-loop of "perception, recognition, decision-making." We constructed a high-quality multitask EM dataset, PReD-1.3M, and an evaluation benchmark, PReD-Bench. The dataset encompasses multi-perspective representations such as raw time-domain waveform, frequency-domain spectrograms, and constellation diagrams, covering typical features of communication and radar signals. It supports a range of core tasks, including signal detection, modulation recognition, parameter estimation, protocol recognition, radio frequency fingerprint recognition, and anti-jamming decision-making. PReD adopts a multi-stage training strategy that unifies multiple tasks for EM signals. It achieves closed-loop optimization from end-to-end signal understanding to language-driven reasoning and decision-making, significantly enhancing EM domain expertise while maintaining general multimodal capabilities. Experimental results show that PReD achieves state-of-the-art performance on PReD-Bench constructed from both open-source and self-collected signal datasets. These results collectively validate the feasibility and potential of vision-aligned foundation models in advancing the understanding and reasoning of EM signals.