Large Language Model-Driven Distributed Integrated Multimodal Sensing and Semantic Communications

📄 arXiv: 2505.18194v2 📥 PDF

作者: Yubo Peng, Luping Xiang, Bingxin Zhang, Kun Yang

分类: eess.SP, cs.AI, cs.CV

发布日期: 2025-05-20 (更新: 2025-05-30)

💡 一句话要点

提出LLM驱动的分布式集成多模态感知与语义通信框架，提升复杂环境下的感知精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 语义通信 大语言模型 分布式学习 射频视觉融合 环境感知 Transformer 自适应注意力

📋 核心要点

  1. 传统单模态感知系统难以应对复杂动态环境的需求，且单设备系统受限于视角和空间覆盖。
  2. 提出LLM驱动的分布式集成多模态感知与语义通信框架，利用多模态融合和语义通信提高感知精度和效率。
  3. 在合成数据集上的实验表明，该框架能够有效融合多模态信息，提升感知性能，并保护数据隐私。

📝 摘要（中文）

本文提出了一种新颖的基于大语言模型（LLM）驱动的分布式集成多模态感知与语义通信（LLM-DiSAC）框架，旨在克服传统单模态感知系统在复杂动态环境中面临的挑战。该系统由配备射频（RF）和摄像头模块的多个协作感知设备组成，并与聚合中心协同工作以提高感知精度。在感知设备端，LLM-DiSAC开发了一个射频-视觉融合网络（RVFN），该网络采用专门的特征提取器处理射频和视觉数据，然后使用交叉注意力模块进行有效的多模态融合。其次，提出了一种基于LLM的语义传输网络（LSTN）以提高通信效率，其中基于LLM的解码器利用已知的信道参数（如收发器距离和信噪比（SNR））来减轻语义失真。第三，在聚合中心，开发了一个具有自适应聚合注意力机制的基于Transformer的聚合模型（TRAM），以融合分布式特征并提高感知精度。为了保护数据隐私，引入了一种两阶段分布式学习策略，允许在设备级别进行本地模型训练，并使用中间特征进行集中式聚合模型训练。最后，在Genesis仿真引擎生成的合成多视角射频-视觉数据集上的评估表明，LLM-DiSAC取得了良好的性能。

🔬 方法详解

问题定义：现有单模态感知系统在复杂环境下表现不佳，单设备感知范围有限。传统方法难以有效融合多模态信息，且在分布式场景下存在数据隐私问题。

核心思路：利用LLM的强大语义理解能力，结合多模态融合和语义通信技术，构建分布式感知系统。通过在设备端进行本地特征提取和融合，减少数据传输量，保护数据隐私。

技术框架：LLM-DiSAC框架包含三个主要组成部分：1) 设备端的射频-视觉融合网络（RVFN），用于提取和融合射频和视觉特征；2) 基于LLM的语义传输网络（LSTN），用于高效的语义通信；3) 聚合中心的基于Transformer的聚合模型（TRAM），用于融合分布式特征并提高感知精度。

关键创新：1) 提出了一种基于LLM的语义通信方法，利用信道参数辅助解码，减少语义失真。2) 设计了一种自适应聚合注意力机制，能够有效融合来自不同设备的特征。3) 采用两阶段分布式学习策略，保护数据隐私。

关键设计：RVFN采用专门的特征提取器处理射频和视觉数据，并使用交叉注意力模块进行融合。LSTN中的LLM解码器利用收发器距离和SNR等信道参数。TRAM使用Transformer结构，并引入自适应聚合注意力机制。两阶段分布式学习策略包括设备端的本地模型训练和聚合中心的集中式聚合模型训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在Genesis仿真引擎生成的合成多视角射频-视觉数据集上进行了评估，实验结果表明LLM-DiSAC框架能够有效融合多模态信息，提升感知性能。虽然具体性能数据未知，但该框架的整体设计思路和实验结果验证了其可行性和有效性。

🎯 应用场景

该研究成果可应用于智能交通、智慧城市、安防监控等领域。通过融合射频和视觉等多模态信息，可以提高环境感知能力，为自动驾驶、人群行为分析等应用提供更准确的数据支持。分布式学习策略的应用，也为保护用户隐私提供了新的解决方案。

📄 摘要（原文）

Traditional single-modal sensing systems-based solely on either radio frequency (RF) or visual data-struggle to cope with the demands of complex and dynamic environments. Furthermore, single-device systems are constrained by limited perspectives and insufficient spatial coverage, which impairs their effectiveness in urban or non-line-of-sight scenarios. To overcome these challenges, we propose a novel large language model (LLM)-driven distributed integrated multimodal sensing and semantic communication (LLM-DiSAC) framework. Specifically, our system consists of multiple collaborative sensing devices equipped with RF and camera modules, working together with an aggregation center to enhance sensing accuracy. First, on sensing devices, LLM-DiSAC develops an RF-vision fusion network (RVFN), which employs specialized feature extractors for RF and visual data, followed by a cross-attention module for effective multimodal integration. Second, a LLM-based semantic transmission network (LSTN) is proposed to enhance communication efficiency, where the LLM-based decoder leverages known channel parameters, such as transceiver distance and signal-to-noise ratio (SNR), to mitigate semantic distortion. Third, at the aggregation center, a transformer-based aggregation model (TRAM) with an adaptive aggregation attention mechanism is developed to fuse distributed features and enhance sensing accuracy. To preserve data privacy, a two-stage distributed learning strategy is introduced, allowing local model training at the device level and centralized aggregation model training using intermediate features. Finally, evaluations on a synthetic multi-view RF-visual dataset generated by the Genesis simulation engine show that LLM-DiSAC achieves a good performance.