Cluster Workload Allocation: Semantic Soft Affinity Using Natural Language Processing

📄 arXiv: 2601.09282v1 📥 PDF

作者: Leszek Sliwko, Jolanta Mizeria-Pietraszko

分类: cs.AI, cs.DC, cs.LG, cs.SE

发布日期: 2026-01-14

💡 一句话要点

提出基于自然语言处理的语义软亲和性集群工作负载分配方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 集群调度 自然语言处理 大型语言模型 Kubernetes 软亲和性 语义理解 工作负载分配

📋 核心要点

  1. 集群工作负载分配配置复杂，存在可用性差距，难以满足用户意图。
  2. 利用大型语言模型（LLM）理解自然语言分配提示，实现语义软亲和性调度。
  3. 实验表明，该方法在复杂场景下优于标准Kubernetes配置，验证了LLM用于调度的可行性。

📝 摘要（中文）

本文提出了一种基于自然语言处理的集群系统语义驱动型调度范式，旨在解决集群工作负载分配中配置复杂、可用性差的问题。该系统利用大型语言模型（LLM），通过Kubernetes调度器扩展器解释自然语言分配提示注释，实现软亲和性偏好。原型系统包含集群状态缓存和意图分析器（使用AWS Bedrock）。实验评估表明，Amazon Nova Pro/Premier和Mistral Pixtral Large等顶级模型在评估数据集上具有较高的LLM解析准确率（>95%的子集准确率），显著优于基线引擎。在六个场景的调度质量测试中，该原型在复杂和定量场景以及处理冲突的软偏好方面，实现了优于或等同于标准Kubernetes配置的放置效果。结果验证了使用LLM进行可访问调度的可行性，但也突出了同步LLM延迟等限制，建议采用异步处理以实现生产就绪。这项工作证实了语义软亲和性在简化工作负载编排方面的可行性。

🔬 方法详解

问题定义：集群工作负载分配通常需要复杂的配置，这使得用户难以表达其真实的调度意图，导致资源利用率低下和运维成本增加。现有方法缺乏对用户意图的理解，无法灵活地根据语义信息进行调度。

核心思路：本文的核心思路是利用自然语言处理（NLP）技术，特别是大型语言模型（LLM），来理解用户以自然语言表达的调度意图。通过将自然语言描述转化为机器可理解的调度策略，实现更灵活、更智能的集群资源分配。

技术框架：该系统主要包含以下几个模块：1) Kubernetes调度器扩展器：负责拦截Kubernetes的调度请求，并将请求转发给意图分析器。2) 意图分析器：使用LLM（通过AWS Bedrock）解析自然语言分配提示，提取用户的软亲和性偏好。3) 集群状态缓存：维护集群的实时状态信息，供意图分析器参考。4) 调度决策器：根据意图分析器提取的偏好和集群状态，生成调度决策，并返回给Kubernetes调度器。

关键创新：该方法最重要的创新点在于将自然语言处理技术引入到集群调度领域，实现了语义软亲和性调度。与传统的基于硬编码规则的调度方法相比，该方法能够更好地理解用户的意图，并根据意图动态地调整调度策略。

关键设计：关键设计包括：1) 使用Kubernetes调度器扩展器实现与Kubernetes的无缝集成。2) 选择合适的LLM（如Amazon Nova Pro/Premier和Mistral Pixtral Large）以保证解析准确率。3) 设计有效的自然语言提示模板，引导用户清晰地表达调度意图。4) 采用异步处理机制，降低LLM推理延迟对调度性能的影响。

📊 实验亮点

实验结果表明，该原型系统在LLM解析准确率方面表现出色，顶级模型（如Amazon Nova Pro/Premier和Mistral Pixtral Large）在评估数据集上实现了超过95%的子集准确率，显著优于基线引擎。在六个调度场景中，该原型在复杂和定量场景以及处理冲突的软偏好方面，实现了优于或等同于标准Kubernetes配置的放置效果。

🎯 应用场景

该研究成果可应用于各种规模的集群系统，特别是在需要灵活调度和复杂配置的场景下，例如云计算、大数据处理、人工智能训练等。通过自然语言描述调度意图，降低了用户的使用门槛，提高了资源利用率，并简化了运维管理。未来，该技术可进一步扩展到支持更复杂的调度策略和更广泛的应用场景。

📄 摘要（原文）

Cluster workload allocation often requires complex configurations, creating a usability gap. This paper introduces a semantic, intent-driven scheduling paradigm for cluster systems using Natural Language Processing. The system employs a Large Language Model (LLM) integrated via a Kubernetes scheduler extender to interpret natural language allocation hint annotations for soft affinity preferences. A prototype featuring a cluster state cache and an intent analyzer (using AWS Bedrock) was developed. Empirical evaluation demonstrated high LLM parsing accuracy (>95% Subset Accuracy on an evaluation ground-truth dataset) for top-tier models like Amazon Nova Pro/Premier and Mistral Pixtral Large, significantly outperforming a baseline engine. Scheduling quality tests across six scenarios showed the prototype achieved superior or equivalent placement compared to standard Kubernetes configurations, particularly excelling in complex and quantitative scenarios and handling conflicting soft preferences. The results validate using LLMs for accessible scheduling but highlight limitations like synchronous LLM latency, suggesting asynchronous processing for production readiness. This work confirms the viability of semantic soft affinity for simplifying workload orchestration.