Mobile-MMLU: A Mobile Intelligence Language Understanding Benchmark

📄 arXiv: 2503.20786v1 📥 PDF

作者: Sondos Mahmoud Bsharat, Mukul Ranjan, Aidar Myrzakhan, Jiacheng Liu, Bowei Guo, Shengkun Tang, Zhuang Liu, Yuanzhi Li, Zhiqiang Shen

分类: cs.CL, cs.AI

发布日期: 2025-03-26

备注: An order-invariant and mobile-centric benchmark. Code and data are available at: https://github.com/VILA-Lab/Mobile-MMLU

🔗 代码/项目: GITHUB

💡 一句话要点

提出Mobile-MMLU，用于评估LLM在移动设备上的智能语言理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动设备 大型语言模型 基准数据集 语言理解 设备端AI 性能评估 资源受限 隐私保护

📋 核心要点

  1. 现有LLM基准数据集主要面向服务器和桌面环境，缺乏针对移动设备特性和用户行为的数据集，无法准确评估LLM在移动场景下的性能。
  2. Mobile-MMLU通过构建包含16186个问题的大规模数据集，覆盖80个移动相关领域，模拟真实移动场景，评估LLM在移动设备上的智能。
  3. Mobile-MMLU不仅关注准确率，还关注推理延迟、能耗、内存使用等移动设备的关键指标，并评估模型在隐私保护和个性化方面的能力。

📝 摘要（中文）

大型语言模型（LLM）的快速发展激发了在移动设备上部署LLM以实现设备端AI应用的需求。与桌面用户相比，移动用户与LLM的交互方式不同，产生了独特的期望和数据偏差。当前的基准数据集主要针对服务器和桌面环境，缺乏专门为移动环境设计的大规模数据集。此外，移动设备在存储和计算资源方面面临严格的限制，约束了模型的大小和能力，因此需要优化的效率和优先考虑的知识。为了应对这些挑战，我们推出了Mobile-MMLU，这是一个专为移动智能设计的大规模基准数据集。它包含80个移动相关领域的16186个问题，旨在评估LLM在实际移动场景中的性能。一个具有挑战性的子集Mobile-MMLU-Pro提供了高级评估，其规模与MMLU-Pro相似，但比我们的标准完整集更具挑战性。这两个基准都使用多项选择、顺序不变的问题，侧重于实际的移动交互，如食谱建议、旅行计划和基本的日常任务。该数据集强调关键的移动特定指标，如推理延迟、能耗、内存使用和响应质量，从而全面了解模型在移动约束下的性能。此外，它还优先考虑隐私和适应性，评估模型执行设备端处理、维护用户隐私以及适应个性化使用模式的能力。Mobile-MMLU系列为开发和比较移动优化的LLM提供了一个标准化框架，从而推动了移动计算环境中生产力和决策的进步。我们的代码和数据可在https://github.com/VILA-Lab/Mobile-MMLU获得。

🔬 方法详解

问题定义：论文旨在解决现有LLM基准数据集无法有效评估LLM在移动设备上性能的问题。现有数据集主要面向服务器和桌面环境，忽略了移动设备的资源限制（如存储、计算能力）以及移动用户独特的交互模式和数据偏差。这导致在服务器上表现良好的LLM，在移动设备上可能无法达到相同的性能水平，甚至无法部署。

核心思路：论文的核心思路是构建一个专门针对移动设备和移动场景的LLM评估基准，即Mobile-MMLU。该基准通过设计与移动设备使用场景相关的多项选择题，并关注移动设备的关键性能指标（如延迟、能耗），来更准确地评估LLM在移动环境下的表现。

技术框架：Mobile-MMLU基准数据集包含两个主要部分：Mobile-MMLU和Mobile-MMLU-Pro。Mobile-MMLU包含16186个问题，覆盖80个移动相关领域。Mobile-MMLU-Pro是一个更具挑战性的子集，用于更高级的评估。问题采用多项选择的形式，且顺序不影响答案的正确性。评估指标包括准确率、推理延迟、能耗、内存使用和响应质量。

关键创新：Mobile-MMLU的关键创新在于其专注于移动设备和移动场景。与现有基准数据集相比，Mobile-MMLU的问题设计更贴近移动用户的实际需求和使用习惯，例如食谱建议、旅行计划等。此外，Mobile-MMLU还关注移动设备特有的性能指标，如能耗和内存使用，这对于在资源受限的移动设备上部署LLM至关重要。

关键设计：Mobile-MMLU的问题设计侧重于实际的移动交互，避免了过于理论化或学术化的内容。数据集的构建过程中，作者考虑了移动用户的隐私需求，并评估模型在设备端处理和个性化方面的能力。Mobile-MMLU-Pro的设计目标是提供更具挑战性的评估，类似于MMLU-Pro，但难度更高。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mobile-MMLU包含16186个问题，覆盖80个移动相关领域，是目前最大的移动智能语言理解基准数据集之一。Mobile-MMLU-Pro提供更具挑战性的评估。该数据集强调了推理延迟、能耗、内存使用和响应质量等关键移动指标，为移动LLM的开发和优化提供了全面的评估框架。

🎯 应用场景

Mobile-MMLU可用于评估和优化LLM在移动设备上的性能，推动设备端AI应用的发展。例如，可以用于开发更智能的移动助手、更高效的移动搜索、更个性化的推荐系统等。该基准还有助于研究如何在资源受限的移动设备上部署大型模型，并提高模型的能效和隐私保护能力。

📄 摘要（原文）

Rapid advancements in large language models (LLMs) have increased interest in deploying them on mobile devices for on-device AI applications. Mobile users interact differently with LLMs compared to desktop users, creating unique expectations and data biases. Current benchmark datasets primarily target at server and desktop environments, and there is a notable lack of extensive datasets specifically designed for mobile contexts. Additionally, mobile devices face strict limitations in storage and computing resources, constraining model size and capabilities, thus requiring optimized efficiency and prioritized knowledge. To address these challenges, we introduce Mobile-MMLU, a large-scale benchmark dataset tailored for mobile intelligence. It consists of 16,186 questions across 80 mobile-related fields, designed to evaluate LLM performance in realistic mobile scenarios. A challenging subset, Mobile-MMLU-Pro, provides advanced evaluation similar in size to MMLU-Pro but significantly more difficult than our standard full set. Both benchmarks use multiple-choice, order-invariant questions focused on practical mobile interactions, such as recipe suggestions, travel planning, and essential daily tasks. The dataset emphasizes critical mobile-specific metrics like inference latency, energy consumption, memory usage, and response quality, offering comprehensive insights into model performance under mobile constraints. Moreover, it prioritizes privacy and adaptability, assessing models' ability to perform on-device processing, maintain user privacy, and adapt to personalized usage patterns. Mobile-MMLU family offers a standardized framework for developing and comparing mobile-optimized LLMs, enabling advancements in productivity and decision-making within mobile computing environments. Our code and data are available at: https://github.com/VILA-Lab/Mobile-MMLU.