TimeBill: Time-Budgeted Inference for Large Language Models

📄 arXiv: 2512.21859v1 📥 PDF

作者: Qi Fan, An Zou, Yehan Ma

分类: cs.CL

发布日期: 2025-12-26

备注: Accepted to AAAI 2026

💡 一句话要点

TimeBill：面向大语言模型的时间预算推理框架，提升任务完成率和响应性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 时间预算推理 KV缓存淘汰 响应长度预测 执行时间估计

📋 核心要点

  1. 现有大语言模型在时间敏感场景中难以准确估计端到端执行时间，影响决策和控制。
  2. TimeBill通过响应长度预测器和执行时间估计器，自适应调整KV缓存淘汰率，优化推理效率。
  3. 实验表明，TimeBill能有效提高任务完成率，并在不同时间预算下保持良好的响应性能。

📝 摘要（中文）

大语言模型（LLMs）越来越多地部署在时间敏感的系统中，如机器人、自动驾驶、具身智能和工业自动化等。在这些场景中，在给定的时间预算内生成准确的响应对于决策、控制或安全至关重要。然而，LLMs的自回归生成过程使得建模和估计端到端执行时间具有挑战性。此外，现有的基于固定键值（KV）缓存淘汰率的有效推理方法难以适应具有不同时间预算的各种任务，不适当的淘汰率可能导致推理不完整或响应性能下降。本文提出了TimeBill，一种新颖的面向LLMs的时间预算推理框架，旨在平衡推理效率和响应性能。具体来说，我们提出了一个细粒度的响应长度预测器（RLP）和一个执行时间估计器（ETE），以准确预测LLMs的端到端执行时间。在此基础上，我们开发了一种时间预算高效推理方法，该方法根据执行时间预测和给定的时间预算自适应地调整KV缓存淘汰率。最后，通过大量的实验，我们证明了TimeBill在提高任务完成率和在各种超限策略下保持响应性能方面的优势。

🔬 方法详解

问题定义：论文旨在解决大语言模型在时间预算约束下的推理问题。现有方法，特别是基于固定KV缓存淘汰率的方法，无法有效适应不同任务和时间预算，可能导致推理不完整或性能下降。痛点在于如何在有限的时间内，最大化LLM的推理质量和任务完成度。

核心思路：TimeBill的核心思路是预测LLM的执行时间和响应长度，并根据预测结果动态调整KV缓存的淘汰策略。通过更精细的控制，在保证推理完整性的前提下，尽可能地提高推理效率，从而在给定的时间预算内获得最佳的性能。

技术框架：TimeBill框架主要包含两个核心模块：响应长度预测器（RLP）和执行时间估计器（ETE）。RLP预测LLM将生成的token数量，ETE预测生成这些token所需的时间。基于这两个预测值，TimeBill会动态调整KV缓存的淘汰率，以适应给定的时间预算。整体流程为：输入prompt -> RLP预测响应长度 -> ETE预测执行时间 -> 根据时间预算和预测结果调整KV缓存淘汰率 -> LLM推理 -> 输出结果。

关键创新：TimeBill的关键创新在于其自适应的KV缓存淘汰策略。与传统的固定淘汰率方法不同，TimeBill能够根据任务的复杂度和时间预算，动态地调整淘汰率，从而在保证推理质量的同时，最大限度地利用有限的计算资源。这种自适应性使得TimeBill能够更好地适应各种时间敏感的应用场景。

关键设计：RLP和ETE的具体实现细节未知，论文中可能没有详细说明其网络结构或损失函数。但可以推测，RLP可能是一个基于历史token的序列预测模型，ETE可能是一个基于硬件配置和模型参数的回归模型。关键在于如何将这两个模型的预测结果有效地结合起来，并转化为KV缓存的淘汰率。具体的淘汰策略可能涉及到一些启发式规则或优化算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明了TimeBill在提高任务完成率和保持响应性能方面的优势。具体的性能数据未知，但摘要中提到TimeBill能够在各种超限策略下保持良好的响应性能，表明其具有较强的鲁棒性和适应性。与现有方法相比，TimeBill能够更好地平衡推理效率和响应性能，从而在时间预算约束下获得更好的整体表现。

🎯 应用场景

TimeBill适用于各种时间敏感的大语言模型应用场景，例如机器人控制、自动驾驶、具身智能、工业自动化等。在这些场景中，需要在严格的时间预算内生成准确的响应，以保证系统的安全性和可靠性。TimeBill可以帮助这些系统更好地利用有限的计算资源，提高任务完成率和响应性能，从而提升整体的智能化水平。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly deployed in time-critical systems, such as robotics, autonomous driving, embodied intelligence, and industrial automation, where generating accurate responses within a given time budget is crucial for decision-making, control, or safety-critical tasks. However, the auto-regressive generation process of LLMs makes it challenging to model and estimate the end-to-end execution time. Furthermore, existing efficient inference methods based on a fixed key-value (KV) cache eviction ratio struggle to adapt to varying tasks with diverse time budgets, where an improper eviction ratio may lead to incomplete inference or a drop in response performance. In this paper, we propose TimeBill, a novel time-budgeted inference framework for LLMs that balances the inference efficiency and response performance. To be more specific, we propose a fine-grained response length predictor (RLP) and an execution time estimator (ETE) to accurately predict the end-to-end execution time of LLMs. Following this, we develop a time-budgeted efficient inference approach that adaptively adjusts the KV cache eviction ratio based on execution time prediction and the given time budget. Finally, through extensive experiments, we demonstrate the advantages of TimeBill in improving task completion rate and maintaining response performance under various overrun strategies.