What Does a Token Cost? A Mixture-of-Agents Measurement of Sufficient Per-Token Compute

📄 arXiv: 2610.02491v1 📥 PDF

作者: Zhixu Du, Weijia Han, Hai Helen Li, Yiran Chen

分类: cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出混合代理模型测量每个令牌的计算成本以优化语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 混合代理 计算成本 模型路由 推理优化 自然语言处理 资源管理

📋 核心要点

  1. 现有的大型语言模型在生成令牌时计算资源的分配不够高效，导致不必要的计算浪费。
  2. 本文提出了一种混合代理模型，通过多个语言模型的组合来测量每个令牌的实际计算需求。
  3. 实验结果显示，使用MoA映射可以显著降低模型的延迟和令牌使用量，同时保持或提高生成准确性。

📝 摘要（中文）

大型语言模型在生成每个令牌时消耗相同的计算量，尽管每个令牌的生成难度不同。本文通过混合代理（MoA）方法，测量每个令牌的实际计算需求，定义成功生成参考序列的最小代理的推理成本为令牌的充分计算。实验表明，0.5B的代理能够重现92-95%的参考令牌，并且在多个基准测试中，最昂贵的10%令牌占据了64-80%的估计FLOPs。通过MoA映射，模型路由的延迟从7.59秒降低到5.12秒，同时略微提高了准确性。该研究为进一步优化语言模型提供了新的思路。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成令牌时计算资源分配不均的问题，现有方法未能有效测量每个令牌的实际计算需求，导致计算浪费。

核心思路：通过混合代理（MoA）模型，使用多个不同容量的语言模型来逐步生成参考序列，从而测量每个令牌的充分计算需求。该方法的设计基于假设：不同令牌的生成难度不同，所需计算量也应有所不同。

技术框架：整体架构包括一个由15个语言模型组成的面板，这些模型来自三个不同的家族。每个代理模型尝试在给定前置令牌的条件下逐个生成参考序列，最终确定成功生成的最小代理的推理成本。

关键创新：本文的主要创新在于通过混合代理模型量化每个令牌的计算需求，定义了“充分计算”这一概念，从而为模型路由和计算资源优化提供了新的视角。

关键设计：在实验中，使用了不同容量的代理模型（如0.5B），并通过对比分析最昂贵的10%令牌的FLOPs占比，优化了模型的推理过程，确保在降低延迟的同时保持准确性。具体的参数设置和损失函数设计未在摘要中详细说明，需参考论文原文。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，0.5B的代理模型能够重现92-95%的参考令牌，最昂贵的10%令牌占据了64-80%的估计FLOPs。通过MoA映射，模型路由的延迟从7.59秒降低到5.12秒，同时准确性略有提升。此外，草拟过程使用的草拟令牌减少了32.6%，相较于固定窗口草拟在相似准确性下延迟降低约20%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的模型优化、实时生成系统以及大规模语言模型的资源管理。通过提高计算效率，能够在保持生成质量的同时，降低延迟和资源消耗，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language models spend the same amount of computation on every token they generate, regardless of how difficult each token is to produce. Methods such as speculative decoding and model routing are built on the premise that much of this computation is unnecessary, yet the computation an individual token actually requires has not been measured. We measure it through a Mixture-of-Agents (MoA) lens: a panel of fifteen language models of increasing capacity, drawn from three families, in which every agent attempts to reproduce a reference sequence token by token, conditioned on the correct preceding tokens. We define the inference cost of the smallest agent that succeeds as the token's sufficient compute, which upper-bounds what the token requires. On three core benchmarks, a 0.5B agent reproduces 92--95\% of reference tokens. Across Qwen, OLMo, and R1-distilled panels, the most expensive 10\% account for 64--80\% of estimated FLOPs. On all 500 MATH-500 problems, the MoA-derived map helps model routing reduce projected latency from 7.59 to 5.12 seconds while slightly improving accuracy, relative to the best confidence-routing baseline. The MoA-map helps drafting use 32.6\% fewer draft tokens and approximately 20\% lower projected latency than fixed-window drafting at similar accuracy. These comparisons reveal remaining allocation headroom, motivating controllers that exploit sufficient-compute structure.