Advancing Compositional LLM Reasoning with Structured Task Relations in Interactive Multimodal Communications

📄 arXiv: 2507.21199v1 📥 PDF

作者: Xinye Cao, Hongcan Guo, Guoshun Nan, Jiaoyang Cui, Haoting Qian, Yihan Lin, Yilin Peng, Diyang Zhang, Yanzhao Hou, Huici Wu, Xiaofeng Tao, Tony Q. S. Quek

分类: cs.LG, cs.AI, cs.DC, cs.HC

发布日期: 2025-07-28

备注: Accepted by IEEE JSAC. This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出ContextLoRA和ContextGear，利用单个组合LLM解决交互式多模态通信中的任务推理问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组合LLM 多模态通信 任务关系推理 无线网络 资源优化

📋 核心要点

  1. 现有方法依赖多个LLM处理不同的IMA任务，效率较低且资源消耗大，难以适应无线网络等资源受限环境。
  2. ContextLoRA通过构建任务依赖图，引导单个LLM学习不同IMA之间的结构化上下文，实现任务间的推理和组合。
  3. ContextGear优化ContextLoRA的训练过程，通过分组机制降低计算和通信成本，提升LLM在移动环境中的效率。

📝 摘要（中文）

本文提出了一种新的范式，使用单个组合式LLM通过无线网络完成各种交互式多模态应用(IMA)，例如车联网中的路线规划。为了解决单个LLM适应不同IMA目标的问题，提出了ContextLoRA，通过构建任务依赖图来引导LLM学习IMA之间丰富的结构化上下文，并为每个IMA划分神经层的可学习参数矩阵以促进LLM组合。为了确保LLM在资源受限的移动环境中的灵活性和效率，引入了ContextGear调度策略来优化ContextLoRA的训练过程，通过策略性分组机制最小化计算和通信成本。在三个基准测试上的实验表明了ContextLoRA和ContextGear的优越性。此外，在真实无线测试平台上对所提出的范式进行了原型验证，证明了其对各种IMA的实际适用性。代码将会开源。

🔬 方法详解

问题定义：现有交互式多模态应用(IMA)通常使用多个独立的LLM，每个LLM专门针对一个特定任务进行训练。这种方法存在资源浪费、效率低下以及难以捕捉不同任务之间潜在关联的问题。尤其是在无线网络等资源受限的环境中，部署和维护多个LLM的成本很高。因此，需要一种更高效、更灵活的方法，能够利用单个LLM处理多种IMA任务，并充分利用任务之间的关系。

核心思路：本文的核心思路是利用单个组合式LLM来处理多种IMA任务。通过学习不同任务之间的结构化上下文，使LLM能够进行任务间的推理和组合，从而提高效率和资源利用率。具体来说，通过构建任务依赖图来表示任务之间的关系，并利用该图来指导LLM的学习过程。此外，还设计了一种调度策略来优化训练过程，以降低计算和通信成本。

技术框架：整体框架包含两个主要部分：ContextLoRA和ContextGear。ContextLoRA负责引导LLM学习任务间的结构化上下文，并实现任务间的推理和组合。ContextGear负责优化ContextLoRA的训练过程，以降低计算和通信成本。ContextLoRA包括训练、冻结和掩码三个阶段，利用任务关系逐步微调LLM。ContextGear通过策略性分组机制，减少训练过程中的通信开销。

关键创新：最重要的技术创新点在于ContextLoRA方法，它能够引导单个LLM学习不同IMA之间的结构化上下文，并实现任务间的推理和组合。与现有方法相比，ContextLoRA不需要为每个IMA训练单独的LLM，从而大大降低了资源消耗和维护成本。此外，ContextGear调度策略能够进一步优化训练过程，提高LLM在资源受限环境中的效率。

关键设计：ContextLoRA的关键设计包括：1) 构建任务依赖图，用于表示任务之间的关系；2) 为每个IMA划分神经层的可学习参数矩阵，以促进LLM组合；3) 设计训练、冻结和掩码三个阶段的微调过程，利用任务关系逐步训练LLM。ContextGear的关键设计在于策略性分组机制，它能够将相关的任务分组在一起进行训练，从而减少训练过程中的通信开销。损失函数的设计目标是最小化预测误差，同时鼓励LLM学习任务间的依赖关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ContextLoRA和ContextGear在三个基准测试上均优于现有方法。具体来说，ContextLoRA在任务准确率方面取得了显著提升，同时ContextGear能够有效降低训练过程中的计算和通信成本。在真实无线测试平台上的原型验证也证明了该方法的实际可行性。

🎯 应用场景

该研究成果可应用于各种交互式多模态应用，例如车联网中的路线规划、智能家居中的设备控制、以及智能客服中的问题解答。通过利用单个组合式LLM处理多种任务，可以显著降低部署和维护成本，提高资源利用率，并提升用户体验。未来，该技术有望在更多领域得到应用，例如机器人控制、虚拟现实和增强现实等。

📄 摘要（原文）

Interactive multimodal applications (IMAs), such as route planning in the Internet of Vehicles, enrich users' personalized experiences by integrating various forms of data over wireless networks. Recent advances in large language models (LLMs) utilize mixture-of-experts (MoE) mechanisms to empower multiple IMAs, with each LLM trained individually for a specific task that presents different business workflows. In contrast to existing approaches that rely on multiple LLMs for IMAs, this paper presents a novel paradigm that accomplishes various IMAs using a single compositional LLM over wireless networks. The two primary challenges include 1) guiding a single LLM to adapt to diverse IMA objectives and 2) ensuring the flexibility and efficiency of the LLM in resource-constrained mobile environments. To tackle the first challenge, we propose ContextLoRA, a novel method that guides an LLM to learn the rich structured context among IMAs by constructing a task dependency graph. We partition the learnable parameter matrix of neural layers for each IMA to facilitate LLM composition. Then, we develop a step-by-step fine-tuning procedure guided by task relations, including training, freezing, and masking phases. This allows the LLM to learn to reason among tasks for better adaptation, capturing the latent dependencies between tasks. For the second challenge, we introduce ContextGear, a scheduling strategy to optimize the training procedure of ContextLoRA, aiming to minimize computational and communication costs through a strategic grouping mechanism. Experiments on three benchmarks show the superiority of the proposed ContextLoRA and ContextGear. Furthermore, we prototype our proposed paradigm on a real-world wireless testbed, demonstrating its practical applicability for various IMAs. We will release our code to the community.