Mean-Field PhiBE: Continuous-Time Mean-Field Reinforcement Learning from Discrete-Time Data

📄 arXiv: 2606.26498v1 📥 PDF

作者: Erhan Bayraktar, Martin Hernandez, Qinxin Yan, Yuhua Zhu

分类: math.OC, cs.LG

发布日期: 2026-06-25

💡 一句话要点

提出Mean-Field PhiBE以解决离散时间数据下的连续时间强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 均值场控制 强化学习 连续时间 离散时间数据 策略梯度 熵正则化 随机反馈策略

📋 核心要点

  1. 现有方法在处理仅有离散时间数据的情况下，无法有效识别控制动态的漂移和扩散系数，导致模型不准确。
  2. 论文提出的MF-PhiBE方法通过将离散时间信息融入连续时间偏微分方程，解决了非可识别性问题，同时保持了HJB方程的生成器结构。
  3. 实验结果显示，MF-PhiBE策略在LQR基准和人群规避问题上实现了二阶精度的近似，且相较于传统方法有显著提升。

📝 摘要（中文）

本文探讨了在仅有离散时间转移数据的情况下，如何进行无模型的连续时间均值场控制。通过引入Mean-Field-PhiBE (MF-PhiBE)，该方法将离散时间转移信息融入Wasserstein空间的连续时间偏微分方程中，从而解决了在离散数据下无法识别控制动态的漂移和扩散系数的问题。此外，论文还推导了熵正则化随机反馈策略的策略梯度定理，结合这些创新，提出了一种无模型的演员-评论家方法。实验结果表明，该方法在LQR基准和人群规避问题上表现出色。

🔬 方法详解

问题定义：本文旨在解决在仅有离散时间转移数据的情况下，如何进行连续时间均值场控制的问题。现有方法在此场景下无法有效识别控制动态的漂移和扩散系数，导致策略评估不准确。

核心思路：论文提出的MF-PhiBE方法通过将离散时间转移信息整合到Wasserstein空间的连续时间偏微分方程中，克服了非可识别性问题，并保持了HJB方程的结构。

技术框架：整体架构包括数据收集、参数估计和策略优化三个主要模块。首先，从离散时间数据中提取信息，然后利用这些信息构建连续时间的偏微分方程，最后通过策略梯度方法进行优化。

关键创新：MF-PhiBE方法的核心创新在于将未知的微小漂移和协方差替换为基于数据计算的一步估计，从而在保持生成器结构的同时，解决了离散数据下的非可识别性问题。

关键设计：在设计中，采用了熵正则化的随机反馈策略，并推导出策略梯度定理，确保了策略优化的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MF-PhiBE方法在LQR基准测试中实现了二阶精度的近似，且在处理人群规避问题时，相较于传统方法，策略性能显著提升，验证了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和智能交通系统等。通过有效处理离散时间数据，MF-PhiBE方法能够在复杂动态环境中实现更高效的决策制定，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper addresses model-free continuous-time mean-field control in a setting where the population dynamics evolve continuously according to an unknown McKean-Vlasov stochastic differential equation, while only discrete-time transition data are available. In the model-based formulation, policy evaluation is naturally described by a stationary Hamilton-Jacobi-Bellman equation on $\mathcal P_2(\mathbb R^d)$, but this equation involves the drift and diffusion coefficients of the controlled McKean-Vlasov dynamics, which are not identifiable when only discrete-time data are available. On the other hand, a direct reduction to a time-discrete Bellman equation avoids the non-identifiability issue but loses the differential equation structure. To bridge these two viewpoints, we introduce a Mean-Field-PhiBE (MF-PhiBE), which incorporates discrete-time transition information into a continuous-time PDE on the Wasserstein space. The MF-PhiBE replaces the unknown infinitesimal drift and covariance in the policy-evaluation equation by one-step estimators computed from data, while preserving the generator structure of the McKean-Vlasov HJB equation. We also derive a policy-gradient theorem for entropy-regularized randomized feedback policies, expressing the actor direction through an action-wise infinitesimal advantage and the score of the policy. Combining these two ingredients yields a model-free actor-critic method. We prove a first-order consistency estimate showing that the value induced by an optimal MF-PhiBE policy approximates the optimal continuous-time value with an error of order $Δt$. In the linear-quadratic case, we show our approximation achieves second-order accuracy with only one-step data. Numerical experiments on an LQR benchmark and a crowd-aversion problem illustrate the proposed framework.