WirelessMathBench: A Mathematical Modeling Benchmark for LLMs in Wireless Communications

📄 arXiv: 2505.14354v1 📥 PDF

作者: Xin Li, Mengbing Liu, Li Wei, Jiancheng An, Mérouane Debbah, Chau Yuen

分类: cs.CL, cs.LG

发布日期: 2025-05-20

备注: Accepted to ACL 2025 Findings

💡 一句话要点

WirelessMathBench：无线通信领域大语言模型数学建模能力评测基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 无线通信 数学建模 基准测试 方程补全

📋 核心要点

  1. 现有LLM在无线通信等特定领域的复杂数学推理能力不足，缺乏针对性评估。
  2. 提出WirelessMathBench基准，包含多种数学建模任务，严格遵循物理和维度约束。
  3. 实验表明，现有LLM在方程补全任务中表现不佳，即使最优模型DeepSeek-R1的完全补全成功率也仅为7.83%。

📝 摘要（中文）

大型语言模型(LLM)在广泛的任务中取得了令人瞩目的成果，但它们在复杂、特定领域的数学推理能力——尤其是在无线通信领域——仍未得到充分探索。本文提出了WirelessMathBench，这是一个专门设计的基准，用于评估LLM在无线通信工程中的数学建模挑战。该基准包含587个精心策划的问题，这些问题来源于40篇最先进的研究论文，涵盖了从基本选择题到复杂方程补全任务(包括部分和完全补全)的各种任务，所有这些都严格遵守物理和维度约束。通过对领先LLM的广泛实验，我们观察到，虽然许多模型在基本回忆任务中表现出色，但当重建部分或完全模糊的方程时，它们的性能会显著下降，暴露了当前LLM的根本局限性。即使是基准测试中表现最好的DeepSeek-R1，平均准确率也仅为38.05%，完全方程补全的成功率仅为7.83%。通过公开发布WirelessMathBench以及评估工具包，我们旨在推进更强大、领域感知的LLM的开发，用于无线系统分析和更广泛的工程应用。

🔬 方法详解

问题定义：论文旨在解决现有大型语言模型（LLM）在无线通信领域数学建模能力评估不足的问题。现有方法缺乏针对无线通信领域的专业基准，无法有效评估LLM在此领域的数学推理能力，尤其是在处理复杂的公式推导和方程补全任务时。现有LLM在处理此类任务时，往往表现出对物理约束和维度信息的理解不足，导致性能显著下降。

核心思路：论文的核心思路是构建一个高质量、多样化的无线通信数学建模基准，用于系统性地评估LLM在此领域的性能。通过设计不同难度的任务，包括选择题、方程部分补全和方程完全补全，来考察LLM对无线通信领域知识的掌握程度和数学推理能力。基准中的问题均来源于最新的研究论文，并严格遵循物理和维度约束，以保证评估的有效性和可靠性。

技术框架：WirelessMathBench基准主要包含以下几个部分：1) 问题收集与筛选：从40篇最新的无线通信研究论文中收集相关问题，并进行筛选和整理。2) 任务设计：设计不同类型的数学建模任务，包括选择题、方程部分补全和方程完全补全。3) 评估指标：采用准确率作为主要评估指标，用于衡量LLM在不同任务上的性能。4) 模型评估：使用多个主流LLM进行实验，并分析其在不同任务上的表现。5) 基准发布：公开发布WirelessMathBench基准和评估工具包，方便研究人员使用。

关键创新：该论文的关键创新在于构建了一个专门针对无线通信领域的数学建模基准，弥补了现有LLM评估体系的不足。该基准不仅包含了多样化的任务类型，而且严格遵循物理和维度约束，能够更全面、准确地评估LLM在此领域的数学推理能力。此外，论文还通过实验揭示了现有LLM在处理复杂方程补全任务时的局限性，为未来LLM的改进提供了方向。

关键设计：WirelessMathBench的关键设计包括：1) 问题来源：问题来源于最新的无线通信研究论文，保证了基准的时效性和专业性。2) 任务类型：设计了选择题、方程部分补全和方程完全补全等多种任务类型，覆盖了不同的数学建模能力。3) 物理和维度约束：所有问题都严格遵循物理和维度约束，保证了评估的有效性和可靠性。4) 评估指标：采用准确率作为主要评估指标，简单易懂，方便比较不同模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有LLM在WirelessMathBench上的表现不佳，即使是表现最好的DeepSeek-R1模型，在完全方程补全任务上的成功率也仅为7.83%，平均准确率仅为38.05%。这表明现有LLM在无线通信领域的数学建模能力仍有很大的提升空间。该基准的发布将有助于推动领域自适应LLM的发展，并促进无线通信领域的智能化。

🎯 应用场景

该研究成果可应用于无线通信系统设计、优化和分析。通过使用WirelessMathBench评估LLM，可以帮助研究人员开发更智能、更高效的无线通信系统。此外，该基准还可以促进领域自适应LLM的开发，使其能够更好地理解和解决特定领域的工程问题，例如天线设计、信道建模和资源分配。

📄 摘要（原文）

Large Language Models (LLMs) have achieved impressive results across a broad array of tasks, yet their capacity for complex, domain-specific mathematical reasoning-particularly in wireless communications-remains underexplored. In this work, we introduce WirelessMathBench, a novel benchmark specifically designed to evaluate LLMs on mathematical modeling challenges to wireless communications engineering. Our benchmark consists of 587 meticulously curated questions sourced from 40 state-of-the-art research papers, encompassing a diverse spectrum of tasks ranging from basic multiple-choice questions to complex equation completion tasks, including both partial and full completions, all of which rigorously adhere to physical and dimensional constraints. Through extensive experimentation with leading LLMs, we observe that while many models excel in basic recall tasks, their performance degrades significantly when reconstructing partially or fully obscured equations, exposing fundamental limitations in current LLMs. Even DeepSeek-R1, the best performer on our benchmark, achieves an average accuracy of only 38.05%, with a mere 7.83% success rate in full equation completion. By publicly releasing WirelessMathBench along with the evaluation toolkit, we aim to advance the development of more robust, domain-aware LLMs for wireless system analysis and broader engineering applications.