Jumping the Line: Exploiting Length Predictions in LLM Scheduling

📄 arXiv: 2610.03430v1 📥 PDF

作者: Yuyang Dai, Rana Shahout, Mahmood Sharif

分类: cs.AI

发布日期: 2026-10-02

备注: 24 pages, 6 figures

💡 一句话要点

提出JIL以优化LLM调度中的长度预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长语言模型 请求调度 对抗样本 长度预测 调度优化

📋 核心要点

  1. 现有的基于长度预测的调度方法在处理请求时面临长度未知的问题，导致调度效率低下。
  2. 本文提出JIL，通过优化对抗后缀来操控调度信号，从而低估请求的输出长度，提升调度优先级。
  3. 实验结果显示，JIL能够将预测输出长度减少高达83.4%，并使对抗请求的完成速度提高1.53倍，显著提升了调度性能。

📝 摘要（中文）

高效的请求调度在大型语言模型（LLM）服务中愈发重要。基于大小的调度策略如最短作业优先（SJF）优先处理较短请求，但生成前输出长度未知，因此实际调度器依赖于预测长度。本文提出JIL，一种针对基于预测的LLM调度器的攻击，操控调度信号以获取更高优先级并减少完成时间。以TRAIL为案例，JIL优化对抗后缀，使轻量级输出长度探测器低估请求长度。实验表明，JIL在两个数据集和四个LLM上评估，预测输出长度减少高达83.4%，对抗请求在端到端服务实验中平均完成速度提高1.53倍。预测长度的显著减少与实际输出长度变化不成比例，揭示调度器估计与请求实际大小之间的差距。响应效用在不同模型和任务间变化，暴露出调度优势与响应质量之间的权衡。

🔬 方法详解

问题定义：本文旨在解决基于长度预测的LLM调度器在请求长度未知情况下的调度效率问题。现有方法依赖于长度预测，但预测与实际输出之间存在显著差距，导致调度决策不准确。

核心思路：JIL的核心思路是通过优化对抗后缀，操控调度信号，使得调度器低估请求的输出长度，从而提高请求的调度优先级。该方法利用了调度器对长度预测的依赖性，创造性地将对抗样本引入调度过程。

技术框架：整体架构包括对抗后缀生成模块和调度器交互模块。首先生成对抗后缀，然后通过轻量级输出长度探测器评估请求长度，最后将优化后的请求提交给调度器。

关键创新：JIL的主要创新在于通过对抗样本优化调度信号，显著降低预测长度与实际长度之间的差距。这一方法与传统的基于长度的调度策略本质上不同，后者未考虑对抗样本的影响。

关键设计：在设计中，采用了特定的损失函数来优化对抗后缀，并通过多轮迭代调整参数，以确保生成的后缀能够有效地操控调度器的预测。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，JIL能够将预测输出长度减少高达83.4%，并使对抗请求在端到端服务实验中的完成速度提高1.53倍。这一显著提升表明JIL在调度效率上的优势，尤其是在处理复杂请求时。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的在线服务、实时文本生成和自然语言处理任务。通过优化调度策略，能够显著提升系统的响应速度和用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Efficient request scheduling is increasingly important for reducing completion time in large language model (LLM) serving. Size-based policies such as Shortest Job First prioritize shorter requests, but output lengths are unknown before generation, so practical schedulers rely on predicted lengths. We introduce JIL, an attack on prediction-based LLM schedulers that manipulates the scheduling signal to obtain higher priority and reduce completion time. Using TRAIL as a case study, JIL optimizes an adversarial suffix that causes a lightweight output-length probe to underestimate a request's length. We evaluate JIL on two datasets and four LLMs across varied request profiles and deployment configurations. JIL reduces predicted output lengths by up to 83.4 percent, and adversarial requests complete up to 1.53 times faster on average in end-to-end serving experiments. The reduction in predicted length is substantially larger than the change in actual output length, revealing a mismatch between the scheduler's estimate and the request's realized size. Response utility varies across models and tasks, exposing a trade-off between scheduling advantage and response quality. We also evaluate scheduler-side defenses and find that grouping length predictions into coarse intervals reduces JIL's scheduling advantage and mitigates delays to benign requests.