HeterCSI: Channel-Adaptive Heterogeneous CSI Pretraining Framework for Generalized Wireless Foundation Models
作者: Chenyu Zhang, Xinchen Lyu, Chenshan Ren, Shuhan Liu, Qimei Cui, Xiaofeng Tao
分类: cs.LG, cs.AI
发布日期: 2026-01-26
备注: 13 pages, 8 figures
💡 一句话要点
HeterCSI：面向通用无线基础模型的信道自适应异构CSI预训练框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无线基础模型 信道状态信息 异构CSI 预训练 自适应批处理 双重掩码 6G通信
📋 核心要点
- 现有无线基础模型在处理异构CSI数据时，面临尺度和场景多样性带来的泛化性挑战，且训练效率较低。
- HeterCSI通过尺度感知的自适应批处理和双重掩码机制，有效缓解了尺度异构性带来的梯度干扰，并保留了场景多样性。
- 实验结果表明，HeterCSI在多个数据集上显著优于现有方法，降低了NMSE，并减少了训练延迟，提升了泛化性能。
📝 摘要（中文）
无线基础模型有望为各种6G网络应用中的信道状态信息（CSI）处理带来变革性能力，但由于CSI在尺度和场景维度上的双重异构性，面临着根本性的挑战。然而，目前的预训练方法要么将输入限制为固定维度，要么按尺度隔离训练，限制了无线基础模型的泛化性和可扩展性。本文提出了HeterCSI，一种信道自适应预训练框架，通过对异构CSI预训练中梯度动态的新理解，协调了训练效率与鲁棒的跨场景泛化。我们的关键见解表明，CSI尺度异构性主要导致破坏性的梯度干扰，而场景多样性在适当管理时实际上促进了建设性的梯度对齐。具体而言，我们将异构CSI批次构建公式化为一个分区优化问题，该问题在保留场景多样性的同时，最大限度地减少了零填充开销。为了解决这个问题，我们开发了一种尺度感知的自适应批处理策略，该策略对齐相似尺度的CSI样本，并设计了一种双重掩码机制，以将有效信号与填充伪影隔离。在12个数据集上的大量实验表明，HeterCSI建立了一个通用的基础模型，无需特定于场景的微调，实现了优于全样本基线的平均性能。与最先进的零样本基准WiFo相比，它在CSI重建、时域和频域预测方面分别降低了7.19 dB、4.08 dB和5.27 dB的NMSE。所提出的HeterCSI框架还比现有方法减少了53%的训练延迟，同时平均提高了1.53 dB的泛化性能。
🔬 方法详解
问题定义：现有无线基础模型在处理不同尺度和场景的CSI数据时，面临泛化能力不足的问题。固定输入维度和按尺度隔离训练的方式限制了模型的跨场景适应性，同时训练效率也较低。异构CSI数据带来的梯度干扰是主要挑战。
核心思路：HeterCSI的核心思路是缓解CSI尺度异构性带来的破坏性梯度干扰，同时保留场景多样性以促进建设性梯度对齐。通过优化批次构建，将相似尺度的CSI样本对齐，并使用双重掩码机制消除填充带来的伪影，从而提高模型的泛化能力和训练效率。
技术框架：HeterCSI框架主要包含以下几个模块：1) 尺度感知的自适应批处理：根据CSI样本的尺度进行分组，将相似尺度的样本放入同一批次，减少尺度差异带来的梯度干扰。2) 双重掩码机制：使用两个掩码，一个用于指示有效信号区域，另一个用于指示填充区域，从而在训练过程中屏蔽填充带来的伪影。3) 异构CSI预训练：使用构造好的批次和掩码机制进行预训练，学习通用的CSI表示。
关键创新：HeterCSI的关键创新在于其对异构CSI预训练中梯度动态的理解，以及基于此提出的尺度感知的自适应批处理和双重掩码机制。与现有方法相比，HeterCSI能够更好地处理异构CSI数据，提高模型的泛化能力和训练效率。现有方法要么忽略了CSI的异构性，要么简单地进行零填充，导致性能下降。
关键设计：1) 尺度感知的自适应批处理策略：使用动态规划算法解决批次构建的优化问题，目标是最小化零填充开销，同时保证场景多样性。2) 双重掩码机制：设计了两个掩码，分别用于指示有效信号和填充区域，通过在损失函数中应用掩码，消除填充带来的伪影。3) 损失函数：使用了均方误差（MSE）损失函数，并结合掩码进行优化，只计算有效信号区域的损失。
🖼️ 关键图片
📊 实验亮点
HeterCSI在12个数据集上进行了广泛的实验，结果表明，与最先进的零样本基准WiFo相比，HeterCSI在CSI重建、时域和频域预测方面分别降低了7.19 dB、4.08 dB和5.27 dB的NMSE。此外，HeterCSI还比现有方法减少了53%的训练延迟，同时平均提高了1.53 dB的泛化性能。这些结果表明，HeterCSI能够有效地处理异构CSI数据，并提高无线基础模型的泛化能力和训练效率。
🎯 应用场景
HeterCSI框架可应用于各种6G无线通信场景，例如大规模MIMO、毫米波通信、智能反射面等。通过预训练一个通用的CSI基础模型，可以减少特定场景的微调成本，加速无线通信系统的部署和优化，并提升无线通信的性能和可靠性。该研究对于推动无线通信的智能化和自动化具有重要意义。
📄 摘要（原文）
Wireless foundation models promise transformative capabilities for channel state information (CSI) processing across diverse 6G network applications, yet face fundamental challenges due to the inherent dual heterogeneity of CSI across both scale and scenario dimensions. However, current pretraining approaches either constrain inputs to fixed dimensions or isolate training by scale, limiting the generalization and scalability of wireless foundation models. In this paper, we propose HeterCSI, a channel-adaptive pretraining framework that reconciles training efficiency with robust cross-scenario generalization via a new understanding of gradient dynamics in heterogeneous CSI pretraining. Our key insight reveals that CSI scale heterogeneity primarily causes destructive gradient interference, while scenario diversity actually promotes constructive gradient alignment when properly managed. Specifically, we formulate heterogeneous CSI batch construction as a partitioning optimization problem that minimizes zero-padding overhead while preserving scenario diversity. To solve this, we develop a scale-aware adaptive batching strategy that aligns CSI samples of similar scales, and design a double-masking mechanism to isolate valid signals from padding artifacts. Extensive experiments on 12 datasets demonstrate that HeterCSI establishes a generalized foundation model without scenario-specific finetuning, achieving superior average performance over full-shot baselines. Compared to the state-of-the-art zero-shot benchmark WiFo, it reduces NMSE by 7.19 dB, 4.08 dB, and 5.27 dB for CSI reconstruction, time-domain, and frequency-domain prediction, respectively. The proposed HeterCSI framework also reduces training latency by 53% compared to existing approaches while improving generalization performance by 1.53 dB on average.