CFM-Bench: A Unified Multi-Domain, Multi-Task Benchmark for Channel Foundation Models
作者: Yuan Gao, Wenjun Yu, Jun Jiang, Yunfan Li, Xinyu Guo, Shugong Xu
分类: cs.AI
发布日期: 2026-07-16
💡 一句话要点
提出CFM-Bench以解决CFM评估不统一的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 频道基础模型 多任务学习 无线通信 基准评估 模型比较 信道配置 转移学习
📋 核心要点
- 现有CFM评估方法缺乏统一性，导致比较结果不具可比性，无法有效评估模型性能。
- CFM-Bench提供了一个多领域、多任务的基准，涵盖多种信道配置，确保评估的一致性和公平性。
- 该基准通过六个任务组，涵盖物理层、无线接入网和集成感知与通信等应用，促进了模型间的比较与转移学习研究。
📝 摘要（中文）
频道基础模型（CFMs）正在快速发展，近期研究表明其在下游无线任务中的预训练带来了显著的好处。然而，CFMs通常在模型特定的管道中进行评估，使用不同的数据、无线配置、分区、适应程序、任务定义和指标。因此，现有比较往往只能在单一管道中显示预训练相较于从头监督训练的优势，而无法公平地对CFMs与任务特定模型进行排名和比较。为了解决这一问题，本文发布了CFM-Bench，这是一个统一的多领域、多任务基准，涵盖了六种信道配置，提供了比较模型、领域和任务间信道表示转移能力的共同基础。
🔬 方法详解
问题定义：本文旨在解决CFM评估中存在的统一性不足的问题。现有方法在不同的管道中评估CFMs，导致结果不具可比性，无法公平比较不同模型的性能。
核心思路：CFM-Bench通过建立一个统一的基准，整合多种信道配置和任务，确保评估过程的一致性，从而提供一个公平的比较平台。
技术框架：CFM-Bench包含六种信道配置，涵盖3GPP统计仿真、独立的射线追踪管道、工业和空中测量以及同步的车辆多模态仿真。官方分区隔离完整的轨迹、测量会话、车辆链接等。
关键创新：CFM-Bench的最大创新在于其统一性和多样性，允许在不同任务和领域中比较CFMs的表现，而不是局限于单一的评估管道。
关键设计：该基准不规定外部预训练语料或策略，官方训练分割仅用于下游微调，确保模型开发过程中使用的数据透明，并禁止在训练阶段使用官方测试单元。
🖼️ 关键图片
📊 实验亮点
CFM-Bench的实验结果表明，预训练的CFMs在多个任务上相较于从头训练的模型表现出显著的性能提升，具体提升幅度未知。这一基准为未来的研究提供了重要的参考和比较依据。
🎯 应用场景
CFM-Bench的潜在应用领域包括无线通信、智能交通系统和多模态感知等。通过提供一个统一的评估基准，该研究能够促进CFM在实际应用中的有效性和可靠性，推动相关技术的进步与发展。
📄 摘要（原文）
Channel foundation models (CFMs) are developing rapidly, with recent studies reporting benefits from pretraining across downstream wireless tasks. Yet CFMs are commonly evaluated in model-specific pipelines with different data, radio configurations, partitions, adaptation procedures, task definitions, and metrics. Reported comparisons therefore tend to show that pretraining improves over supervised training from scratch within one pipeline, but neither rank CFMs nor compare them fairly with task-specific models. We release CFM-Bench, a unified multi-domain, multi-task benchmark designed to address this gap. It curates six channel configurations spanning 3GPP statistical simulation, two independent ray-tracing pipelines, industrial and aerial measurements, and synchronized vehicular multimodal simulation. Official partitions isolate complete trajectories, measurement sessions, vehicle links, simulation realizations, or buffered spatial regions. CFM-Bench does not prescribe an external pretraining corpus or strategy; no benchmark split may be used for foundation-model pretraining, and the official training split is reserved exclusively for downstream fine-tuning. The benchmark additionally requires disclosure of all data used during model development and prohibits training-stage use of official test units. Six task groups are organized along three CFM application dimensions: physical-layer (PHY) channel intelligence, radio-access-network (RAN) decision intelligence, and integrated sensing and communication (ISAC). They cover CSI feedback, frequency and temporal channel extrapolation, propagation-state classification, current- and future-beam prediction, and single-frame and temporal localization. CFM-Bench provides a common substrate for comparing the transferability of channel representations across models, domains, and tasks.