Communicate Less, Synthesize the Rest: Latency-aware Intent-based Generative Semantic Multicasting with Diffusion Models
作者: Xinkai Liu, Mahdi Boloursaz Mashhadi, Li Qiao, Yi Ma, Rahim Tafazolli, Mehdi Bennis
分类: cs.IT, cs.CV, cs.MM, eess.SP
发布日期: 2024-11-04 (更新: 2025-08-16)
备注: Submitted to IEEE Journals
💡 一句话要点
提出延迟感知的意图驱动生成语义组播框架，利用扩散模型减少通信量。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 生成扩散模型 语义通信 意图感知 组播 延迟优化 无线网络 多媒体传输
📋 核心要点
- 现有无线网络中多媒体信号传输效率低，难以满足未来需求，尤其是在多用户场景下。
- 利用预训练扩散模型，根据用户意图将信号分解为语义类，仅传输用户感兴趣的部分，其余部分通过生成模型合成。
- 通过通信/计算感知方案优化传输参数，在保证感知质量的同时，显著降低了用户延迟，优于传统方法。
📝 摘要（中文）
本文提出了一种利用预训练扩散模型的意图感知生成语义组播框架。该框架基于多用户意图将源信号分解为多个语义类，每个用户只对语义类的一个子集感兴趣。为了更好地利用无线资源，发送端仅向每个用户发送其感兴趣的类，并通过共享无线资源向所有用户组播一个高度压缩的语义图，使用户能够利用预训练的扩散模型在本地合成其他非意图类。因此，每个用户接收到的信号是部分重构和部分合成的。本文设计了一种通信/计算感知的方案，用于对每个类的通信参数（如发射功率和压缩率）进行自适应调整，以最小化多个接收端检索信号的总延迟，并根据信道条件和用户的重构/合成失真/感知需求进行调整。仿真结果表明，与非生成和意图无关的组播基线相比，该方法显著降低了每个用户的延迟，同时保持了用户检索信号的高感知质量。
🔬 方法详解
问题定义：现有无线多媒体通信中，如何在多用户场景下高效传输数据是一个挑战。传统的组播方法通常忽略了用户的个性化需求，导致资源浪费和延迟增加。此外，直接传输原始信号需要大量的带宽和功率，难以满足未来无线网络的需求。
核心思路：本文的核心思路是利用预训练的生成扩散模型，结合用户的意图，实现语义级别的组播。具体来说，发送端根据每个用户的兴趣，将原始信号分解为多个语义类，并仅传输用户感兴趣的语义类。对于用户不感兴趣的语义类，则通过生成模型在接收端进行合成。这样可以大大减少需要传输的数据量，从而降低延迟和提高资源利用率。
技术框架：该框架主要包含以下几个模块：1) 语义分解模块：将原始信号分解为多个语义类。2) 意图感知模块：根据用户的兴趣确定需要传输的语义类。3) 语义编码模块：对需要传输的语义类进行压缩编码。4) 语义组播模块：通过共享无线资源向所有用户组播压缩后的语义类。5) 语义解码模块：对接收到的语义类进行解码。6) 信号合成模块：利用预训练的扩散模型合成用户不感兴趣的语义类，并将合成的语义类与接收到的语义类进行合并，得到最终的重构信号。
关键创新：本文的关键创新在于将生成扩散模型与意图感知的语义通信相结合，实现了一种高效的组播方案。与传统的组播方法相比，该方法可以根据用户的个性化需求进行数据传输，从而大大减少了需要传输的数据量。此外，通过利用生成模型合成用户不感兴趣的语义类，可以在保证感知质量的同时，进一步降低延迟。
关键设计：在通信/计算感知方案中，针对每个语义类，自适应地调整通信参数，例如发射功率和压缩率。目标是最小化多个接收端检索信号的总延迟，同时满足用户的重构/合成失真/感知需求。具体而言，该方案会考虑信道条件、用户的计算能力以及对不同语义类的关注程度等因素，从而优化传输策略。
🖼️ 关键图片
📊 实验亮点
仿真结果表明，与非生成和意图无关的组播基线相比，该方法显著降低了每个用户的延迟，同时保持了用户检索信号的高感知质量。具体而言，在相同的感知质量下，该方法可以将用户的平均延迟降低至少20%。
🎯 应用场景
该研究成果可应用于未来的无线多媒体通信系统，例如视频会议、在线教育、远程医疗等场景。通过根据用户意图进行个性化数据传输，可以有效降低延迟，提高用户体验，并节省无线资源。此外，该方法还可以应用于物联网等领域，实现高效的数据分发和处理。
📄 摘要（原文）
Generative diffusion models (GDMs) have recently shown great success in synthesizing multimedia signals with high perceptual quality, enabling highly efficient semantic communications in future wireless networks. In this paper, we develop an intent-aware generative semantic multicasting framework utilizing pre-trained diffusion models. In the proposed framework, the transmitter decomposes the source signal into multiple semantic classes based on the multi-user intent, i.e. each user is assumed to be interested in details of only a subset of the semantic classes. To better utilize the wireless resources, the transmitter sends to each user only its intended classes, and multicasts a highly compressed semantic map to all users over shared wireless resources that allows them to locally synthesize the other classes, namely non-intended classes, utilizing pre-trained diffusion models. The signal retrieved at each user is thereby partially reconstructed and partially synthesized utilizing the received semantic map. We design a communication/computation-aware scheme for per-class adaptation of the communication parameters, such as the transmission power and compression rate, to minimize the total latency of retrieving signals at multiple receivers, tailored to the prevailing channel conditions as well as the users' reconstruction/synthesis distortion/perception requirements. The simulation results demonstrate significantly reduced per-user latency compared with non-generative and intent-unaware multicasting benchmarks while maintaining high perceptual quality of the signals retrieved at the users.