Task-Oriented Semantic Communication in Large Multimodal Models-based Vehicle Networks

📄 arXiv: 2505.02413v1 📥 PDF

作者: Baoxia Du, Hongyang Du, Dusit Niyato, Ruidong Li

分类: cs.AI

发布日期: 2025-05-05

DOI: 10.1109/TMC.2025.3564543

💡 一句话要点

提出基于LMM的车辆网络任务型语义通信框架，提升恶劣信道下的问答精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务型语义通信 大型多模态模型 车辆网络 视觉问答 用户注意力 图像切片 资源优化

📋 核心要点

  1. 现有语义通信设计较少探索大型多模态模型（LMM）的潜力，无法充分利用视觉信息。
  2. 提出基于LLaVA的车辆AI助手框架，通过优化图像切片和结合用户注意力，实现高效的任务型语义通信。
  3. 实验结果表明，该框架在低信噪比环境下显著提升了视觉问答的准确率，验证了其有效性。

📝 摘要（中文）

本文研究了基于大型多模态模型（LMM）的车辆AI助手，利用大型语言和视觉助手（LLaVA），并提出了一个面向任务的语义通信框架，以促进用户和云服务器之间的高效交互。为了减少计算需求并缩短响应时间，我们优化了LLaVA的图像切片，以选择性地关注用户最感兴趣的区域。此外，我们结合客观和主观用户注意力来评估图像块的重要性，并调整能量使用以传输语义信息。这种策略优化了资源利用率，确保了关键信息的精确传输。我们构建了一个用于交通场景的视觉问答（VQA）数据集来评估有效性。实验结果表明，在相同的信道条件下，我们的语义通信框架显著提高了回答问题的准确性，尤其是在信噪比（SNR）较差的环境中。在12dB的SNR下，准确率可以提高13.4%，在10dB的SNR下，准确率可以提高33.1%。

🔬 方法详解

问题定义：论文旨在解决车辆网络中，在有限的通信资源下，如何利用大型多模态模型（LMM）实现高效的任务型语义通信的问题。现有方法通常忽略了视觉信息的重要性，或者计算复杂度过高，难以在资源受限的车辆环境中部署。

核心思路：论文的核心思路是利用LMM（具体为LLaVA）理解用户意图，并根据用户关注区域选择性地传输图像信息。通过结合客观和主观用户注意力，确定图像块的重要性，从而优化资源分配，确保关键信息的精确传输。这样可以在保证任务完成质量的前提下，降低计算和通信开销。

技术框架：整体框架包含以下几个主要模块：1) 用户端：用户通过自然语言提出问题，并提供视觉输入（图像）。2) LLaVA模型：部署在云端，用于理解用户意图，并确定图像中与问题相关的区域。3) 图像切片与重要性评估：将图像分割成小块，并根据客观显著性和主观用户注意力评估每个图像块的重要性。4) 语义编码与传输：根据图像块的重要性，调整能量分配，进行语义编码，并通过无线信道传输到云端。5) 云端解码与回答生成：云端接收到语义信息后，解码并生成最终答案。

关键创新：论文的关键创新在于：1) 将LMM（LLaVA）应用于车辆网络中的任务型语义通信。2) 提出了一种结合客观和主观用户注意力的图像块重要性评估方法。3) 优化了图像切片策略，以选择性地关注用户最感兴趣的区域。

关键设计：在图像切片方面，论文可能采用了基于显著性检测的算法来确定客观用户注意力，例如使用saliency map。主观用户注意力可能通过眼动追踪数据或用户点击数据进行建模。在能量分配方面，论文可能采用了基于图像块重要性的加权编码方案，例如，对重要性高的图像块分配更多的能量，以提高其传输可靠性。损失函数可能包含问答准确率和资源消耗两部分，以平衡性能和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在相同的信道条件下，该语义通信框架显著提高了回答问题的准确性，尤其是在信噪比（SNR）较差的环境中。在12dB的SNR下，准确率可以提高13.4%，在10dB的SNR下，准确率可以提高33.1%。这表明该框架在恶劣通信环境下具有很强的鲁棒性。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶、远程车辆诊断等领域。通过高效的任务型语义通信，车辆可以更准确地理解用户意图，并与云端进行有效交互，从而提升驾驶安全性、舒适性和智能化水平。未来，该技术还可扩展到其他资源受限的物联网设备，实现更广泛的应用。

📄 摘要（原文）

Task-oriented semantic communication has emerged as a fundamental approach for enhancing performance in various communication scenarios. While recent advances in Generative Artificial Intelligence (GenAI), such as Large Language Models (LLMs), have been applied to semantic communication designs, the potential of Large Multimodal Models (LMMs) remains largely unexplored. In this paper, we investigate an LMM-based vehicle AI assistant using a Large Language and Vision Assistant (LLaVA) and propose a task-oriented semantic communication framework to facilitate efficient interaction between users and cloud servers. To reduce computational demands and shorten response time, we optimize LLaVA's image slicing to selectively focus on areas of utmost interest to users. Additionally, we assess the importance of image patches by combining objective and subjective user attention, adjusting energy usage for transmitting semantic information. This strategy optimizes resource utilization, ensuring precise transmission of critical information. We construct a Visual Question Answering (VQA) dataset for traffic scenarios to evaluate effectiveness. Experimental results show that our semantic communication framework significantly increases accuracy in answering questions under the same channel conditions, performing particularly well in environments with poor Signal-to-Noise Ratios (SNR). Accuracy can be improved by 13.4% at an SNR of 12dB and 33.1% at 10dB, respectively.