Task-Oriented Multimodal Token Transmission in Resource-Constrained Multiuser Networks
作者: Junhe Zhang, Wanli Ni, Pengwei Wang, Dongyu Wang
分类: cs.NI, cs.LG
发布日期: 2025-05-06 (更新: 2025-11-03)
💡 一句话要点
提出面向任务的多模态Token传输方案，解决资源受限多用户网络中的带宽开销问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 Token传输 资源优化 带宽优化 跨模态对齐
📋 核心要点
- 现有基于Transformer的大模型Agent产生过长的Token嵌入，导致带宽开销大、功耗高、延迟增加。
- 设计两阶段训练算法（跨模态对齐+任务微调）和滑动窗口池化压缩Token，并联合优化带宽、功率和Token长度。
- 仿真结果表明，该方案在不同带宽和功率预算下优于基线，且两阶段训练算法在不同信噪比下精度更高。
📝 摘要（中文）
本文提出了一种面向任务的多模态Token传输方案，旨在提高多模态信息融合和利用的效率，解决基于大型模型的Agent中Transformer架构产生过长Token嵌入导致的高带宽开销、功耗增加和延迟问题。该方案设计了一种两阶段训练算法，包括跨模态对齐和面向任务的微调，用于大型模型Token通信。同时，采用滑动窗口池化操作进行Token压缩，以节省通信资源。为了平衡压缩引起的延迟和模型性能，构建了一个关于延迟和验证损失的加权和优化问题。通过交替优化方法联合优化用户间的带宽、功率分配和Token长度。仿真结果表明，该算法在不同带宽和功率预算下优于基线方法，并且两阶段训练算法在各种信噪比下比没有跨模态对齐的方法实现了更高的准确率。
🔬 方法详解
问题定义：论文旨在解决资源受限的多用户网络中，基于Transformer的大型模型Agent由于生成过长的Token嵌入而导致的高带宽开销、高功耗和高延迟问题。现有方法通常忽略了多模态信息融合的效率以及Token传输的优化，导致资源利用率低下。
核心思路：论文的核心思路是通过面向任务的多模态Token传输，在保证模型性能的前提下，尽可能地压缩Token长度，降低带宽需求。通过跨模态对齐和任务微调的两阶段训练，提升Token的表达能力，从而在压缩后仍能保持较高的信息量。同时，联合优化带宽、功率分配和Token长度，以适应不同用户的资源限制。
技术框架：该方案包含以下几个主要模块：1) 多模态Token嵌入生成模块：利用Transformer等模型生成多模态Token嵌入；2) 两阶段训练模块：包括跨模态对齐和面向任务的微调，提升Token表达能力；3) Token压缩模块：采用滑动窗口池化操作压缩Token长度；4) 资源优化模块：通过交替优化方法，联合优化带宽、功率分配和Token长度。整体流程是，首先生成多模态Token嵌入，然后进行两阶段训练，接着进行Token压缩，最后进行资源优化。
关键创新：论文的关键创新在于：1) 提出了面向任务的多模态Token传输方案，针对性地优化了多模态信息融合和Token传输过程；2) 设计了两阶段训练算法，通过跨模态对齐提升了Token的表达能力；3) 提出了基于滑动窗口池化的Token压缩方法，有效降低了Token长度；4) 提出了联合优化带宽、功率分配和Token长度的资源优化方法，适应了资源受限的多用户网络环境。
关键设计：两阶段训练算法中，跨模态对齐阶段的目标是使不同模态的Token嵌入在语义空间中对齐，可以使用对比学习等方法实现。面向任务的微调阶段的目标是使Token嵌入更好地适应特定任务，可以使用交叉熵损失等方法进行优化。滑动窗口池化操作中，窗口大小和步长是关键参数，需要根据Token长度和压缩率进行调整。资源优化模块中，带宽、功率分配和Token长度的优化目标是最小化延迟和验证损失的加权和，可以使用梯度下降等方法进行求解。
🖼️ 关键图片
📊 实验亮点
仿真结果表明，所提出的算法在不同带宽和功率预算下均优于基线方法。具体来说，在相同带宽和功率预算下，该算法能够降低延迟并提高模型性能。此外，两阶段训练算法在各种信噪比下均比没有跨模态对齐的方法实现了更高的准确率，验证了跨模态对齐的有效性。这些结果表明，该方案能够有效解决资源受限多用户网络中的带宽开销问题。
🎯 应用场景
该研究成果可应用于资源受限的无线多媒体通信、边缘计算、智能交通等领域。例如，在自动驾驶场景中，车辆需要实时传输视觉、激光雷达等多模态数据，该方案可以有效降低带宽需求，提高通信效率，从而提升自动驾驶系统的安全性和可靠性。此外，该方案还可以应用于移动医疗、远程教育等领域，为用户提供更流畅、更高效的多媒体服务。
📄 摘要（原文）
With the emergence of large model-based agents, widely adopted transformer-based architectures inevitably produce excessively long token embeddings for transmission, which may result in high bandwidth overhead, increased power consumption and latency. In this letter, we propose a task-oriented multimodal token transmission scheme for efficient multimodal information fusion and utilization. To improve the efficiency of token transmission, we design a two-stage training algotithm, including cross-modal alignment and task-oriented fine-tuning, for large model-based token communication. Meanwhile, token compression is performed using a sliding window pooling operation to save communication resources. To balance the trade-off between latency and model performance caused by compression, we formulate a weighted-sum optimization problem over latency and validation loss. We jointly optimizes bandwidth, power allocation, and token length across users by using an alternating optimization method. Simulation results demonstrate that the proposed algorithm outperforms the baseline under different bandwidth and power budgets. Moreover, the two-stage training algorithm achieves higher accuracy across various signal-to-noise ratios than the method without cross-modal alignment.