Instruction-Conditioned Electromagnetic Spectrum Understanding via Budget-Adaptive Signal Tokenization

📄 arXiv: 2610.12142v1 📥 PDF

作者: Lei Zhai, Zhihao Chang, Shuyuan Yang, Zhixi Feng

分类: cs.AI, eess.SP

发布日期: 2026-10-08

💡 一句话要点

提出BATok以解决电磁信号分析中的预算适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电磁频谱监测 信号标记 多模态学习 自适应算法 信号处理

📋 核心要点

  1. 现有方法在处理电磁信号时，面临标记成本与信号保真度之间的权衡挑战。
  2. 本文提出BATok，通过自适应调整标记容量，优化信号内容的表示与压缩。
  3. 实验结果显示，BATok在调制识别、结构化检测等任务中表现优异，具有竞争力。

📝 摘要（中文）

电磁频谱监测日益需要灵活的分析能力，超越任务特定的识别和检测。多模态大型语言模型提供了统一的接口，但将视觉-语言模型扩展到原始I/Q信号需要在保真度与预算之间进行平衡。为此，本文提出了BATok，一种预算自适应信号标记器，根据输入长度调整标记容量，并根据信号内容分配该容量。BATok通过轻量级多分辨率分支构建候选表示，并结合局部能量先验与可学习查询，将这些表示重新采样为紧凑的信号标记。实验表明，BATok能够学习有效的信号表示，并在各项任务中取得竞争性表现。

🔬 方法详解

问题定义：本文旨在解决电磁信号分析中标记成本与信号保真度之间的矛盾。现有方法在处理长时间观测信号时，标记成本随观测长度增加而增加，导致信息丢失。

核心思路：BATok通过预算自适应的方式，根据输入信号的长度和内容动态调整标记数量，确保在有限的预算内保留重要的信号信息。

技术框架：BATok的整体架构包括信号特征提取、候选表示构建、局部能量先验结合与可学习查询的重采样过程，最终将生成的信号标记投影到语言嵌入空间中。

关键创新：BATok的主要创新在于其自适应标记机制，能够根据输入信号的特性灵活调整标记数量，避免了传统方法中固定分辨率压缩导致的信息丢失。

关键设计：BATok采用轻量级多分辨率分支进行信号特征提取，结合局部能量先验和可学习查询进行重采样，确保生成的标记既紧凑又富有信息量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BATok在调制识别和结构化检测任务中表现出色，取得了与现有基线相比的显著提升，具体性能数据未详述，但整体竞争力得到验证。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在电磁频谱监测、通信信号分析和智能无线电等领域。通过提高信号分析的灵活性和准确性，BATok能够为相关行业提供更高效的解决方案，推动智能监测技术的发展。

📄 摘要（原文）

Electromagnetic spectrum monitoring increasingly requires flexible analysis beyond task-specific recognition and detection. Multimodal large language models offer a unified interface, but extending vision-language models (VLMs) to raw I/Q signals requires tokenization that balances fidelity against a strict budget. For signals, dense encoding causes token costs to grow with observation length, whereas fixed-resolution compression may discard short-duration or localized signal evidence. Thus, we propose \textbf{BATok}, a budget-adaptive signal tokenizer that adjusts token capacity to the input length while allocating that capacity according to the signal content. BATok constructs candidate representations from signal-derived features using lightweight multi-resolution branches, then combines a local energy prior with learnable queries to resample these representations into compact signal tokens. The number of tokens adapts to the input length while remaining strictly bounded. The resulting tokens are projected into the language embedding space of VLMs. We further introduce \textbf{EMSpec-Instruct}, a multimodal instruction dataset aligning raw I/Q signals, waterfall images, and language supervision for modulation recognition, structured detection, and language-conditioned signal grounding. Experiments show that BATok learns effective signal representations and achieves competitive performance across all tasks.