Verifier-Based Reinforcement Fine-Tuning of Reasoning Models for Thermal Energy Storage Control
作者: Takumi Shioda, Kohei Terashima, Tatsuo Nagai
分类: cs.LG
发布日期: 2026-07-14
备注: 29 pages, 8 figures
💡 一句话要点
提出基于验证者的强化微调方法以优化热能存储控制
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 热能存储 强化学习 模型预测控制 建筑管理 动态规划 可验证奖励 调度优化
📋 核心要点
- 现有的模型预测控制和强化学习方法在建筑物的热能存储调度中难以扩展，导致调度效率低下。
- 本研究提出了一种基于可验证奖励的强化学习方法，通过将离线动态规划的精确动作值转化为密集奖励来优化调度。
- 实验结果显示，强化微调显著降低了模型的排放，且在不同条件下保持了良好的规划模式稳定性。
📝 摘要（中文）
建筑物需要根据电网条件调整冷却负荷，热能存储（TES）可以实现这一点，但需要提前规划以满足存储约束。现有的模型预测控制（MPC）和强化学习方法在跨建筑物的扩展性上存在困难。本研究通过使用可验证奖励的强化学习（RLVR）对开放权重推理模型进行适应，利用仅30个训练提示进行强化微调（RFT），将模型训练为上层调度器，从文本状态和预测中输出每小时的热泵设定点。实验表明，RFT将开放权重模型的排放从70.5降低至61.2 kg-CO2，接近动态规划（DP）最优值60.8 kg-CO2。
🔬 方法详解
问题定义：本论文旨在解决建筑物热能存储调度中的效率问题，现有的模型预测控制和强化学习方法在跨建筑物应用时面临扩展性不足的挑战。
核心思路：论文提出通过可验证奖励的强化学习（RLVR）来适应开放权重推理模型，利用动态规划（DP）生成的精确动作值作为奖励，提升调度性能。
技术框架：整体架构包括数据输入模块（文本状态和预测）、强化微调模块（使用RLVR进行训练）和输出模块（生成热泵设定点）。
关键创新：最重要的创新在于将DP的可验证奖励引入到开放权重推理模型的训练中，使得模型能够在不依赖任务特定训练的情况下实现接近最优的调度效果。
关键设计：在训练过程中，使用了30个训练提示进行强化微调，设计了特定的损失函数以优化奖励信号，并确保模型能够稳定地输出符合实际需求的调度策略。
🖼️ 关键图片
📊 实验亮点
实验结果显示，强化微调将开放权重模型的排放从70.5 kg-CO2降低至61.2 kg-CO2，接近动态规划的最优值60.8 kg-CO2。此外，GPT-5在没有任务特定训练的情况下几乎匹配DP和MPC的性能，显示出推理在推理时间的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能建筑管理、城市能源调度和可再生能源集成等。通过优化热能存储控制，可以有效降低建筑物的碳排放，提升能源利用效率，具有重要的实际价值和社会影响。
📄 摘要（原文）
Buildings are expected to shift cooling loads in response to grid conditions. Thermal energy storage (TES) enables this shift, but scheduling it well requires planning hours ahead under storage constraints. Model predictive control (MPC) and reinforcement learning are difficult to scale across buildings. This study instead adapts an open-weight reasoning model through reinforcement learning with verifiable rewards (RLVR). We convert exact offline dynamic-programming (DP) action values into dense rewards for every candidate action. Using only 30 training prompts, reinforcement fine-tuning (RFT) trains the model as an upper-level scheduler that outputs hourly heat-pump setpoints from text-based states and forecasts. Evaluation uses a deliberately simple office-building TES benchmark where exact DP is tractable and the optimum is known. RFT reduces the open-weight model's emissions from 70.5 to 61.2 kg-CO2, close to the DP optimum of 60.8 kg-CO2. GPT-5 nearly matches DP and MPC without task-specific training, while GPT-4o, a non-reasoning LLM, produces higher emissions than the no-storage baseline, so inference-time reasoning appears important. Trace analysis shows that RFT mainly stabilizes observable planning patterns (candidate comparison, look-ahead, and feasibility checking) rather than creating a new strategy. Robustness and generalization tests clarify what transfers: the reinforced planning patterns persist under forecast errors and an unseen TES condition and carry over to a battery task, but its different structure limits the gains. DP-based verifiable rewards offer a practical way to adapt open-weight reasoning models to building storage scheduling. These results motivate higher-fidelity tests of whole-building control and scalable verifiers for city-scale energy management.