Gemma 4, Phi-4, and Qwen3: Accuracy-Efficiency Tradeoffs in Dense and MoE Reasoning Language Models

📄 arXiv: 2604.07035v1 📥 PDF

作者: Md Motaleb Hossen Manik, Ge Wang

分类: cs.CL

发布日期: 2026-04-08

💡 一句话要点

对比Gemma、Phi和Qwen3，评估稠密模型与MoE模型在推理任务中的精度-效率权衡。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 稠密模型 推理任务 精度-效率权衡 基准测试 提示策略 语言模型

📋 核心要点

  1. 现有语言模型在推理任务中面临精度和效率的权衡，MoE模型虽有潜力，但实际效果受推理约束影响。
  2. 本文通过对比稠密和MoE模型，在不同提示策略和任务上评估其精度、延迟和资源消耗。
  3. 实验表明，精度-效率权衡受架构、提示和任务影响，稀疏激活并非保证最佳性能的唯一因素。

📝 摘要（中文）

混合专家(MoE)语言模型通常被认为比稠密模型提供更好的质量-效率权衡，因为每个token只激活参数的一个子集，但这种优势的实际价值取决于在实际推理约束下的端到端行为。本文对七个最新的面向推理的指令调优模型进行了受控的经验基准测试，涵盖稠密和MoE设计，即Gemma-4-E2B、Gemma-4-E4B、Gemma-4-26B-A4B、Phi-4-mini-reasoning、Phi-4-reasoning、Qwen3-8B和Qwen3-30B-A3B，并在四个基准测试（ARC-Challenge、GSM8K、Math Level 1-3和TruthfulQA MC1）上，采用三种提示策略（零样本、思维链和少样本思维链）进行评估。该研究涵盖了总共8,400个模型-数据集-提示评估，并记录了准确率、延迟、峰值GPU内存使用量（VRAM）和近似的每token浮点运算（FLOPs）代理。在加权多任务总结中，采用少样本思维链的Gemma-4-E4B取得了最佳的总体结果，达到了0.675的加权准确率，平均VRAM为14.9 GB，而Gemma-4-26B-A4B的准确率接近，为0.663，但内存密集程度更高，为48.1 GB。在任务层面，Gemma模型在ARC和Math上占据主导地位，Phi模型在TruthfulQA上表现最强，而GSM8K显示出最大的提示敏感性，包括Phi-4-reasoning在思维链下的准确率从0.67急剧下降到少样本思维链下的0.11。这些结果表明，仅靠稀疏激活并不能保证最佳的实际运行点：观察到的精度-效率权衡共同取决于架构、提示协议和任务组成。我们发布了一个可复现的基准测试流程、汇总结果和配对统计分析，以支持在实际资源约束下对推理LLM进行面向部署的评估。

🔬 方法详解

问题定义：现有的大型语言模型在推理任务中，如何在精度和效率之间取得最佳平衡是一个关键问题。混合专家模型（MoE）被认为具有潜力，但其在实际应用中的表现受到多种因素的影响，例如模型架构、提示策略和任务类型。现有研究缺乏对这些因素的系统性分析，难以指导实际部署。

核心思路：本文的核心思路是通过构建一个受控的实验环境，系统地评估不同架构（稠密模型和MoE模型）、不同提示策略（零样本、思维链和少样本思维链）以及不同任务类型对模型性能的影响。通过对比分析，揭示影响精度-效率权衡的关键因素，为模型选择和部署提供指导。

技术框架：本文构建了一个包含以下步骤的基准测试流程： 1. 模型选择：选择了七个最新的面向推理的指令调优模型，包括Gemma-4-E2B、Gemma-4-E4B、Gemma-4-26B-A4B、Phi-4-mini-reasoning、Phi-4-reasoning、Qwen3-8B和Qwen3-30B-A3B。 2. 数据集选择：选择了四个基准测试数据集，包括ARC-Challenge、GSM8K、Math Level 1-3和TruthfulQA MC1。 3. 提示策略选择：选择了三种提示策略，包括零样本、思维链和少样本思维链。 4. 性能评估：对每个模型-数据集-提示组合进行评估，并记录准确率、延迟、峰值GPU内存使用量（VRAM）和近似的每token浮点运算（FLOPs）代理。 5. 结果分析：对实验结果进行统计分析，揭示影响精度-效率权衡的关键因素。

关键创新：本文的关键创新在于构建了一个可复现的基准测试流程，可以系统地评估不同架构、不同提示策略和不同任务类型对模型性能的影响。通过对比分析，揭示了影响精度-效率权衡的关键因素，为模型选择和部署提供了指导。此外，本文还发布了基准测试流程、汇总结果和配对统计分析，为后续研究提供了便利。

关键设计：本文的关键设计包括： * 选择了具有代表性的稠密模型和MoE模型。 * 选择了涵盖不同难度和类型的推理任务的数据集。 * 选择了常用的提示策略，以模拟不同的应用场景。 * 采用了多种性能指标，包括准确率、延迟、VRAM和FLOPs，以全面评估模型的性能。 * 进行了统计分析，以揭示影响精度-效率权衡的关键因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Gemma-4-E4B在少样本思维链下取得了最佳的总体结果，加权准确率达到0.675，平均VRAM为14.9 GB。Gemma模型在ARC和Math上表现出色，Phi模型在TruthfulQA上表现最强。GSM8K对提示策略非常敏感，Phi-4-reasoning在不同提示下的准确率差异显著。

🎯 应用场景

该研究成果可应用于各种需要权衡精度和效率的自然语言处理任务，例如智能客服、机器翻译、文本摘要等。通过选择合适的模型架构和提示策略，可以在资源有限的环境下实现高性能的推理。

📄 摘要（原文）

Mixture-of-experts (MoE) language models are often expected to offer better quality-efficiency tradeoffs than dense models because only a subset of parameters is activated per token, but the practical value of that advantage depends on end-to-end behavior under realistic inference constraints. We present a controlled empirical benchmark of seven recent reasoning-oriented instruction-tuned models spanning dense and MoE designs, namely Gemma-4-E2B, Gemma-4-E4B, Gemma-4-26B-A4B, Phi-4-mini-reasoning, Phi-4-reasoning, Qwen3-8B, and Qwen3-30B-A3B, evaluated on four benchmarks -- ARC-Challenge, GSM8K, Math Level 1-3, and TruthfulQA MC1 -- under three prompting strategies: zero-shot, chain-of-thought, and few-shot chain-of-thought. The study covers 8,400 total model-dataset-prompt evaluations and records accuracy, latency, peak GPU memory usage (VRAM), and an approximate floating-point operations (FLOPs)-per-token proxy. Across the weighted multi-task summary, Gemma-4-E4B with few-shot chain-of-thought achieved the best overall result, reaching weighted accuracy 0.675 with mean VRAM 14.9 GB, while Gemma-4-26B-A4B was close in accuracy at 0.663 but substantially more memory intensive at 48.1 GB. At the task level, Gemma models dominated ARC and Math, Phi models were strongest on TruthfulQA, and GSM8K showed the largest prompt sensitivity, including a sharp drop for Phi-4-reasoning from 0.67 under chain-of-thought to 0.11 under few-shot chain-of-thought. These results show that sparse activation alone does not guarantee the best practical operating point: observed accuracy-efficiency tradeoffs depend jointly on architecture, prompting protocol, and task composition. We release a reproducible benchmark pipeline, aggregated results, and paired statistical analyses to support deployment-oriented evaluation of reasoning LLMs under real resource constraints.