FastCI: Efficient GPU-Intensive CI for LLM Training Frameworks

📄 arXiv: 2610.01967v1 📥 PDF

作者: Tianshuo Qiao, Naiqian Zheng, Xiaopeng Liu, Shuguang Wang, Diandian Gu, Xuanzhe Liu, Xin Jin

分类: cs.LG, cs.SE

发布日期: 2026-10-01

💡 一句话要点

提出FastCI以解决LLM训练框架中的CI效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续集成 大型语言模型 GPU测试 效率优化 代码覆盖率 高风险测试 运行时证据

📋 核心要点

  1. 现有的LLM训练框架在持续集成（CI）过程中面临GPU资源消耗高和测试效率低的问题，影响开发速度。
  2. FastCI框架通过利用运行时证据选择受影响的测试，并优先执行高风险测试，优化了CI过程。
  3. 实验结果表明，FastCI显著降低了CI延迟77.5%和GPU资源使用率63.9%，同时提高了代码覆盖率保持率3.2%。

📝 摘要（中文）

随着大型语言模型（LLMs）规模和复杂性的不断增长，其训练框架也在快速演变。因此，持续集成（CI）对于维护这些框架的质量和稳定性至关重要。然而，与传统软件不同，LLM训练框架的CI依赖于GPU密集型测试，这通常涉及完整的模型训练或评估，导致CI本身成为快速开发的新瓶颈。本文提出了FastCI框架，以提高LLM训练框架的CI效率。FastCI利用运行时证据选择受影响的测试，并修剪在等效上下文中执行更改代码的测试。然后，FastCI优先考虑高风险测试，以更早地暴露潜在故障，并在每个测试的预期验证范围之外优化测试工作负载。在对我们的LLM训练框架的CI工作负载进行评估时，FastCI将CI延迟减少了77.5%，GPU资源使用率降低了63.9%，同时修改代码覆盖率保持率提高了3.2%。FastCI现已集成到字节跳动的LLM训练框架的CI管道中。

🔬 方法详解

问题定义：本文解决的是大型语言模型训练框架中的持续集成效率问题。现有方法在进行GPU密集型测试时，往往需要完整的模型训练或评估，导致CI过程成为开发的瓶颈。

核心思路：FastCI的核心思路是利用运行时证据来选择受影响的测试，并修剪那些在等效上下文中执行更改代码的测试，从而提高测试效率。通过优先执行高风险测试，FastCI能够更早地发现潜在故障。

技术框架：FastCI的整体架构包括几个主要模块：首先是运行时证据收集模块，其次是测试选择与修剪模块，最后是高风险测试优先执行模块。这些模块协同工作，以优化CI过程。

关键创新：FastCI的主要创新在于其基于运行时证据的测试选择机制和高风险测试优先策略。这与传统CI方法的全量测试策略形成鲜明对比，显著提高了测试效率。

关键设计：FastCI在设计中考虑了测试的上下文信息，通过分析运行时数据来识别受影响的代码区域，并根据风险评估结果动态调整测试执行顺序。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，FastCI在CI工作负载上将延迟减少了77.5%，GPU资源使用率降低了63.9%，同时修改代码覆盖率保持率提高了3.2%。这些结果表明，FastCI在提升CI效率方面具有显著的优势。

🎯 应用场景

FastCI框架可广泛应用于大型语言模型的训练和开发过程中，尤其是在需要频繁迭代和快速反馈的场景中。其高效的CI机制能够帮助开发团队更快地发现和修复潜在问题，提高整体开发效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

As large language models (LLMs) keep growing in size and complexity, their training frameworks evolve at a rapid pace as well. Therefore, continuous integration (CI) is critical for maintaining the quality and stability of these frameworks. However, unlike traditional software, CI for LLM training frameworks relies on GPU-intensive tests, which usually involve complete model training or evaluation. This leads CI itself to become a new bottleneck for fast-paced development. In this paper, we introduce FastCI, a framework that improves the efficiency of CI for LLM training frameworks. FastCI leverages runtime evidence to select affected tests and prune tests that execute changed code in equivalent contexts. Then FastCI prioritizes high-risk tests to expose potential failures earlier, and optimizes test workloads along dimensions outside the intended validation scope of each test. Evaluated on the CI workload of our LLM training framework, FastCI reduces the CI latency by 77.5% and the GPU resource usage by 63.9%, while improving the modified code coverage retention by 3.2%, compared with the currently deployed CI pipelines. FastCI has now been integrated into the CI pipelines of our LLM training framework at ByteDance.