LC-Opt: Benchmarking Reinforcement Learning and Agentic AI for End-to-End Liquid Cooling Optimization in Data Centers

📄 arXiv: 2511.00116v1 📥 PDF

作者: Avisek Naug, Antonio Guillen, Vineet Kumar, Scott Greenwood, Wesley Brewer, Sahand Ghorbanpour, Ashwin Ramesh Babu, Vineet Gundecha, Ricardo Luna Gutierrez, Soumyendu Sarkar

分类: cs.LG, cs.AI, cs.MA, eess.SY

发布日期: 2025-10-31

备注: Submitted to the NeurIPS 2025 conference

💡 一句话要点

LC-Opt：数据中心液冷优化基准，利用强化学习和Agentic AI实现端到端控制。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据中心 液冷 强化学习 数字孪生 多智能体 能源效率 可解释性

📋 核心要点

  1. 现有数据中心液冷系统缺乏智能控制，难以应对AI负载变化，能源效率和可靠性有待提高。
  2. LC-Opt提出基于强化学习的端到端液冷控制框架，通过数字孪生环境模拟真实系统，优化控制策略。
  3. 实验表明，该方法能够平衡局部热调节和全局能源效率，并利用LLM解释控制行为，增强用户信任。

📝 摘要（中文）

随着人工智能工作负载的增加，液冷对于高密度数据中心的热管理至关重要。然而，基于机器学习的控制器对于提高能源效率和可靠性，促进可持续性至关重要。我们提出了LC-Opt，一个可持续液冷（LC）基准环境，用于高性能计算（HPC）系统中节能液冷的强化学习（RL）控制策略。LC-Opt建立在橡树岭国家实验室Frontier超级计算机冷却系统的高保真数字孪生的基础上，提供了详细的基于Modelica的端到端模型，涵盖了从站点级冷却塔到数据中心机柜和服务器刀片组。强化学习智能体优化关键的热控制，如液体供应温度、流速和IT机柜级别的精细阀门驱动，以及通过Gymnasium接口的冷却塔（CT）设定点，并伴随工作负载的动态变化。该环境创建了一个多目标实时优化挑战，平衡了局部热调节和全局能源效率，并且还支持额外的组件，如热回收单元（HRU）。我们对集中式和分散式多智能体强化学习方法进行了基准测试，展示了策略提炼到决策树和回归树中以实现可解释的控制，并探索了基于LLM的方法，这些方法通过旨在培养用户信任和简化系统管理的智能体网格架构，以自然语言解释控制动作。LC-Opt democratizes对详细的、可定制的液冷模型的访问，使机器学习社区、运营商和供应商能够开发可持续的数据中心液冷控制解决方案。

🔬 方法详解

问题定义：论文旨在解决数据中心液冷系统控制优化问题，特别是在高密度、AI负载不断变化的场景下。现有方法通常依赖于人工经验或简单的PID控制，难以实现全局最优的能源效率和可靠性，并且缺乏对控制策略的可解释性。

核心思路：论文的核心思路是利用强化学习（RL）训练智能体，使其能够根据数据中心的状态（如服务器温度、负载）动态调整液冷系统的参数（如供液温度、流速、阀门开度），从而实现全局最优的能源效率和热管理。同时，利用大型语言模型（LLM）解释智能体的控制行为，提高用户信任度。

技术框架：LC-Opt框架包含以下主要模块：1) 基于Modelica的高保真液冷系统数字孪生模型，模拟从冷却塔到服务器的完整液冷链路；2) Gymnasium接口，用于RL智能体与环境的交互；3) 集中式和分散式多智能体RL算法，用于训练控制策略；4) 策略提炼模块，将RL策略转化为可解释的决策树或回归树；5) 基于LLM的解释模块，将智能体的控制行为转化为自然语言解释。

关键创新：论文的关键创新在于：1) 构建了高保真、可定制的液冷系统数字孪生环境LC-Opt，为RL算法的开发和测试提供了基础；2) 提出了基于RL和LLM的端到端液冷控制框架，实现了能源效率、可靠性和可解释性的统一；3) 探索了集中式和分散式多智能体RL算法在液冷控制中的应用。

关键设计：在RL算法方面，论文采用了集中式和分散式多智能体方法，具体算法选择未明确说明，但提到进行了基准测试。奖励函数的设计是关键，需要平衡局部热调节和全局能源效率。数字孪生模型的精度直接影响RL策略的有效性。LLM的prompt设计也很重要，需要能够准确地将智能体的控制行为转化为自然语言解释。

📊 实验亮点

论文构建了LC-Opt基准环境，并对集中式和分散式多智能体RL方法进行了基准测试。虽然没有给出具体的性能数据，但强调了策略提炼到决策树和回归树中以实现可解释的控制，以及利用LLM解释控制动作以增强用户信任。这些结果表明，该方法在提高能源效率和可解释性方面具有潜力。

🎯 应用场景

该研究成果可应用于各种规模的数据中心，特别是高密度、AI驱动的数据中心。通过智能优化液冷系统，可以显著降低能源消耗，提高服务器的可靠性，并延长设备寿命。此外，可解释的控制策略有助于提高运维人员的信任度，简化系统管理。

📄 摘要（原文）

Liquid cooling is critical for thermal management in high-density data centers with the rising AI workloads. However, machine learning-based controllers are essential to unlock greater energy efficiency and reliability, promoting sustainability. We present LC-Opt, a Sustainable Liquid Cooling (LC) benchmark environment, for reinforcement learning (RL) control strategies in energy-efficient liquid cooling of high-performance computing (HPC) systems. Built on the baseline of a high-fidelity digital twin of Oak Ridge National Lab's Frontier Supercomputer cooling system, LC-Opt provides detailed Modelica-based end-to-end models spanning site-level cooling towers to data center cabinets and server blade groups. RL agents optimize critical thermal controls like liquid supply temperature, flow rate, and granular valve actuation at the IT cabinet level, as well as cooling tower (CT) setpoints through a Gymnasium interface, with dynamic changes in workloads. This environment creates a multi-objective real-time optimization challenge balancing local thermal regulation and global energy efficiency, and also supports additional components like a heat recovery unit (HRU). We benchmark centralized and decentralized multi-agent RL approaches, demonstrate policy distillation into decision and regression trees for interpretable control, and explore LLM-based methods that explain control actions in natural language through an agentic mesh architecture designed to foster user trust and simplify system management. LC-Opt democratizes access to detailed, customizable liquid cooling models, enabling the ML community, operators, and vendors to develop sustainable data center liquid cooling control solutions.