Exact Action Values Are Not Enough: Rollout-Verified Reinforcement Fine-Tuning of a Reasoning Model for Multi-Zone VAV Control

📄 arXiv: 2607.27914v1 📥 PDF

作者: Takumi Shioda, Kohei Terashima, Tatsuo Nagai

分类: cs.LG, eess.SY

发布日期: 2026-07-30

备注: 34 pages, 14 figures

💡 一句话要点

提出基于TD3的强化学习微调方法以优化多区域VAV控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 多区域控制 VAV系统 模型预测控制 智能建筑 能效优化 环境监测

📋 核心要点

  1. 现有的模型预测控制和强化学习方法通常需要针对特定建筑进行建模或训练，限制了其在不同环境中的应用。
  2. 本文提出了一种基于TD3的强化学习微调方法，旨在将控制知识转移到开放权重模型中，从而实现更广泛的应用。
  3. 实验结果显示，使用TD3的控制器在电力消耗和温度合规性方面均有显著改善，GPT-5模型在减少电力消耗方面表现最佳。

📝 摘要（中文）

多区域变风量控制需要在多个连续执行器之间平衡热舒适性、室内空气质量和电力使用。尽管模型预测控制和强化学习已被广泛研究，但通常需要特定建筑的建模或训练，限制了其可扩展性。本文首先测试了一种前沿推理模型（LLM），该模型能够在无需建筑特定训练的情况下，从文本中实现竞争性的VAV控制。接着，研究了基于TD3的强化学习微调（RFT）是否能够将控制知识转移到可本地部署的开放权重模型中。实验结果表明，TD3相较于基于指导36的基线减少了4.5%的HVAC电力消耗，同时改善了温度和CO₂合规性。

🔬 方法详解

问题定义：本文旨在解决多区域变风量（VAV）控制中现有方法对建筑特定建模的依赖性，导致的可扩展性问题。现有方法在不同建筑环境中的适用性较差，限制了其广泛应用。

核心思路：论文提出了一种结合TD3的强化学习微调（RFT）方法，利用前沿推理模型（LLM）在无需建筑特定训练的情况下实现VAV控制，从而提高模型的通用性和适应性。

技术框架：整体架构包括前期的推理模型训练、TD3指导的强化学习微调和基于物理的四区域仿真评估。主要模块包括推理模型、TD3控制器和评估系统。

关键创新：最重要的技术创新在于通过强化学习微调将控制知识有效转移到开放权重模型中，并通过确定性回放验证机制提升模型的可靠性。与现有方法相比，本文在无需特定建筑训练的情况下实现了更好的控制效果。

关键设计：在RFT过程中，采用了确定性回放机制来恢复保存状态并评分每个候选动作，关键参数设置包括200个RFT步骤，损失函数设计为基于回放评分的优化目标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用TD3的控制器在HVAC电力消耗上减少了4.5%，而GPT-5模型在电力消耗方面的减少幅度达到6.2%。然而，RFT过程未能在采样动作回报上实现持续改进，提示未来需要在过渡错误上进行监督微调。

🎯 应用场景

该研究的潜在应用场景包括智能建筑管理、HVAC系统优化和环境监测等领域。通过提高多区域VAV控制的效率和适应性，能够有效降低能耗，改善室内空气质量，具有重要的实际价值和社会影响。

📄 摘要（原文）

Multi-zone variable-air-volume control must balance thermal comfort, indoor air quality, and electricity use across several continuous actuators. Model predictive control and reinforcement learning are widely studied, but deployment typically requires building-specific modeling or training, limiting scalability. We first test whether a frontier reasoning model (an LLM trained to use additional inference-time computation) can achieve competitive VAV control from text without building-specific training. With that capability established, we then test whether TD3-guided reinforcement fine-tuning (RFT) can transfer control knowledge into a locally deployable open-weight model. Five controllers are evaluated over three summer days in a physics-based four-zone emulator. Relative to a Guideline 36-based baseline, TD3 reduced HVAC electricity by 4.5% while improving temperature and CO$_2$ compliance. Without building-specific training, GPT-5 achieved the largest reduction (6.2%) but reduced the ventilation margin. For RFT, deterministic rollouts restore a saved state, apply one candidate, and follow TD3 to score each action. Auditing a learned critic against these rollouts exposed a failure hidden by its near-perfect across-time correlation ($r=0.9998$): within-state ranking was unreliable; the critic selected the rollout-best candidate in only 5 of 10 states. Even with the rollout verifier, 200 RFT steps produced no sustained improvement in sampled-action return; the open-weight controller used more electricity than the baseline before and after training, and its five-minute predictions remained worse than persistence. GPT-5 predicted transitions far better. Exact rollout scores rank sampled actions but reveal neither next-state effects nor an improvement direction. The unchanged transition errors motivate transition-focused supervised fine-tuning before value-based RFT.