How Big Should a Wireless Foundation Model Be?
作者: Wei-Lun Cheng, Wanjiun Liao
分类: cs.IT, cs.LG
发布日期: 2026-05-08
💡 一句话要点
揭示无线基础模型的规模极限：基于物理约束的维度缩放定律与测试时训练策略
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无线基础模型 缩放定律 物理层AI 测试时训练 信道建模 模型压缩 6G通信
📋 核心要点
- 无线AI领域缺乏关于模型规模缩放的理论指导，盲目追求大参数量可能导致计算资源浪费且边际收益递减。
- 论文揭示了信道非线性流形维度（dNL）是物理层无线AI的根本瓶颈，该维度受物理定律约束，远低于语义空间。
- 提出基于物理约束的缩放定律与测试时训练（TTT）策略，在大幅降低参数量的同时实现了性能的显著提升。
📝 摘要（中文）
无线基础模型正成为AI原生通信系统的关键，但其规模上限尚不明确。本文提出了一个基于物理学的原则性答案，指出信道的非线性流形维度（dNL）构成了模型缩放的根本瓶颈。研究发现，受麦克斯韦方程组、散射体数量及天线孔径限制，无线传播环境的自由度仅为5-35，远低于语言模型中约1000维的语义空间。基于此，作者提出了无线AI的缩放框架：以NTN卫星信道（dNL≈14）为例，模型参数超过3000万后收益递减，超过7000万进入随机渐近区。研究证明，相比盲目扩大模型规模，采用基于导频的测试时训练（TTT）更为高效，一个1200万参数的模型在性能上可超越9600万参数的静态模型，表明信道几何结构而非模型规模才是物理层无线AI缩放的决定性因素。
🔬 方法详解
问题定义：无线通信系统中的AI模型应具备多大的规模？现有研究往往盲目借鉴大语言模型的缩放规律，忽略了无线信道作为物理系统的固有自由度限制，导致模型设计缺乏理论依据。
核心思路：论文引入“内在维度（Intrinsic Dimensionality）”概念，论证了无线信道的物理特性（如散射环境、天线孔径）决定了其非线性流形维度（dNL）。当模型参数量超过该维度对应的容量时，性能提升将进入饱和区。
技术框架：研究构建了一个包含信道物理建模、缩放定律分析与测试时训练（TTT）的闭环框架。首先通过实测数据与3GPP标准模型量化dNL，随后建立参数量与性能的映射关系，最后引入TTT机制进行推理阶段的动态适配。
关键创新：首次将无线信道的物理自由度与AI模型缩放定律关联，证明了无线AI的缩放上限由信道几何结构决定，而非模型参数量。提出了以TTT替代静态大模型的设计范式，实现了计算效率与性能的平衡。
关键设计：利用导频信号进行测试时训练（TTT），使轻量化模型（如12M参数）能够根据实时信道状态进行快速适应，从而在低参数量下超越静态大模型（如96M参数）的性能表现。
🖼️ 关键图片
📊 实验亮点
实验表明，在NTN卫星信道（dNL≈14）中，模型参数超过70M后性能进入随机渐近区，进一步增加参数带来的增益极小。相比之下，采用TTT策略的12M参数模型，在SNR=20dB时NMSE提升9.9dB，在SNR=10dB时MCM提升7.6dB，证明了轻量化动态模型在物理层AI中的绝对优势。
🎯 应用场景
该研究适用于6G通信系统、卫星通信（NTN）及大规模MIMO系统中的物理层AI设计。通过优化模型规模与引入TTT机制，可显著降低基站与终端的计算功耗，提升复杂无线环境下的信道估计与信号检测精度，为AI原生通信的落地提供理论支撑。
📄 摘要（原文）
Wireless foundation models are rapidly emerging as a key enabler of AI-native communication systems, yet a fundamental question remains unanswered: how large should these models be? We present a principled, physics-grounded answer, showing that the intrinsic dimensionality (dNL, the nonlinear manifold dimension of the channel) acts as the fundamental bottleneck, defining the scaling ceiling once a data-sufficient regime is reached. This dimensionality is not a design choice but a physical constraint: Maxwell's equations, finite scatterers, and antenna aperture inherently constrain wireless propagation environments to a limited number of degrees of freedom -- spanning 5-35 across both real-world OTA measurements and 3GPP-standardized channel models we evaluate -- orders of magnitude below the ~1,000-dimensional semantic space of language. As a consequence, we propose a scaling framework for wireless AI: taking NTN satellite channels as a representative case (dNL ~= 14), scaling gains diminish rapidly beyond ~30 million parameters, entering a stochastic asymptote above 70M where a further 1.6x increase (96M->150M) yields only 0.52 dB. Beyond this ceiling, inference-time adaptation via pilot-aided test-time training (TTT) is far more effective: a compact 12M-parameter model surpasses a static 96M model by 9.9 dB (NMSE, SNR = 20 dB) / 7.6 dB (MCM, SNR = 10 dB) at one-eighth the parameters. With dNL distributions validated across real-world indoor massive MIMO measurements, our scaling laws and TTT gains are demonstrated through NTN satellite simulations, reframing wireless AI design: channel geometry -- not model size -- fundamentally governs the scaling laws of physical-layer wireless AI.