A Unified Adaptive Feature Composition Framework for Multi-Task Generalization in Wireless Foundation Models

📄 arXiv: 2606.10277v1 📥 PDF

作者: Yuxuan Shi, Tingting Yang, Kangning Ma, Liwen Jing, Yuwei Wang, Mengfan Zheng, Li Sun

分类: cs.LG

发布日期: 2026-06-09

💡 一句话要点

提出统一自适应特征组合框架以解决无线基础模型多任务泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无线基础模型 多任务学习 特征组合 自适应学习 Transformer 可解释性 低复杂度

📋 核心要点

  1. 现有无线基础模型在适应多种下游任务时面临微调开销大和特征提取性能不足的挑战。
  2. 本文提出的RAFC通过利用不同层次的Transformer隐藏状态，结合轻量级特征组合网络，实现了高效的特征适应。
  3. 实验结果显示，RAFC在多个无线任务上均优于传统方法，且仅增加少量参数，具有良好的可解释性。

📝 摘要（中文）

尽管无线基础模型（WFM）在学习通用信道表示方面展现出强大潜力，但其在适应各种下游任务时仍受限于现有范式。微调策略引入了大量的计算和存储开销，而冻结特征提取则导致在不同下游任务中的性能不佳。为了解决这一问题，本文提出了一种统一自适应特征组合框架，其中关键组件是特征组合的路由适配器（RAFC）。该路由器不仅提取最终层输出，而是将来自不同Transformer深度的隐藏状态视为可重用的多层隐藏特征池，并采用轻量级的任务驱动特征组合网络生成层级聚合权重，从而通过加权求和自适应组合层次表示。大量实验表明，RAFC在四个代表性无线任务上始终优于传统适应基线，同时引入的额外参数少于50K。

🔬 方法详解

问题定义：本文旨在解决无线基础模型在多任务适应中的性能不足，现有方法如微调和冻结特征提取存在计算和存储开销大、性能不佳等痛点。

核心思路：提出的RAFC通过将不同层次的Transformer隐藏状态视为可重用的特征池，结合任务驱动的特征组合网络，生成层级聚合权重，从而实现自适应组合。

技术框架：整体框架包括特征提取模块、路由适配器和特征组合网络。特征提取模块从预训练模型中获取多层隐藏状态，路由适配器负责生成聚合权重，特征组合网络则进行加权求和以生成最终特征表示。

关键创新：RAFC的核心创新在于利用多层隐藏状态进行特征组合，而非仅依赖最终层输出，这使得模型能够更灵活地适应不同任务的需求。

关键设计：在设计中，RAFC引入了轻量级的任务驱动特征组合网络，且聚合权重的学习过程提供了任务特定的层偏好解释，确保了模型的可解释性和低复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RAFC在四个无线任务上均优于传统的适应基线，且引入的额外参数少于50K，显示出其高效性和可扩展性。此外，学习到的路由权重提供了任务特定的层偏好解释，增强了模型的可解释性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在无线通信、物联网和智能设备等领域。通过提高无线基础模型在多任务场景下的适应能力，能够显著提升系统的整体性能和效率，推动相关技术的发展与应用。未来，该框架可能在更多复杂场景中得到应用，进一步拓展其影响力。

📄 摘要（原文）

Though wireless foundation models (WFMs) have shown strong potential in learning universal channel representations, their adaptation to various downstream tasks remains constrained by existing paradigms. Fine-tuning strategies introduces substantial computational and storage overhead, while frozen feature extraction leads to sub-optimal performance across diverse downstream tasks. To address this issue, we propose a unified adaptive feature composition framework for multitask generalization in WFMs, where the key component is the Routing Adapter for Feature Composition (RAFC). Instead of extracting only the final-layer output, this router treats the hidden states from different Transformer depths as a reusable pool of multi-level hidden features, and employs a lightweight task-driven feature composition network to generate layer-wise aggregation weights, then adaptively combine hierarchical representations through weighted summation. This design enables each downstream task to access suitable mixture of low-, mid-, and high-level wireless features without modifying the pretrained backbone. Extensive experiments on four representative wireless tasks demonstrate that RAFC consistently outperforms conventional adaptation baselines while introducing fewer than 50K additional parameters. Moreover, the learned routing weights provide interpretable evidence of task-specific layer preferences, making the proposed framework a low-complexity, scalable, and explainable interface for adapting WFMs to diverse downstream scenarios.