Frequency-Uniform Log-Regret Reinforcement Learning for Diffusions

📄 arXiv: 2610.36758v1 📥 PDF

作者: Jose Blanchet, Lutong Hao, Renyuan Xu

分类: math.OC, cs.LG

发布日期: 2026-10-27

💡 一句话要点

提出频率均匀的对数遗憾强化学习以解决扩散控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 高频控制 强化学习 受控扩散 遗憾界限 欧拉离散化

📋 核心要点

  1. 现有方法在高频控制问题中面临时间离散化导致的遗憾保证恶化的挑战。
  2. 论文提出了一种基于受控扩散的强化学习方法，利用欧拉离散化来优化控制策略。
  3. 研究结果表明，在特定条件下，所提方法能够实现$ ext{O}( ext{log} K)$的遗憾界限，表现优于传统方法。

📝 摘要（中文）

高频控制问题通常通过时间离散化来研究，但细化时间步长$δ$会增加离散时间范围$H=T/δ$，即使物理时间范围$T$固定，标准有限时间遗憾保证也会恶化。本文研究了受控扩散的欧拉离散化的情景下的情节值基础强化学习。我们在稳定性和正则性条件下证明了$ ext{O}( ext{log} K)$的遗憾界限，并且常数在$δ$上是均匀的。对于漂移线性依赖于未知参数和未知常数扩散协方差的动态，我们验证了这些条件的局部版本，并获得了固定和有限$T$下的高概率$ ext{O}( ext{log} K ext{log log} K)$遗憾。

🔬 方法详解

问题定义：本文旨在解决高频控制问题中的遗憾保证恶化问题，现有方法在细化时间步长时表现不佳，导致性能下降。

核心思路：论文提出了一种新的强化学习框架，专注于受控扩散的欧拉离散化，通过稳定性和正则性条件来保证学习过程中的遗憾界限。

技术框架：整体架构包括状态表示、动作选择、价值函数估计和策略更新四个主要模块，采用模型基础的受控扩散拟合Q算法（CD-FQ）进行训练。

关键创新：最重要的创新在于证明了在特定条件下，所提方法能够在固定的时间范围内实现均匀的遗憾界限，显著提升了学习效率。

关键设计：关键设计包括对价值函数梯度、贝尔曼残差导数和拟合评论员的正则性条件的设定，确保算法在高频控制场景下的稳定性和有效性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，所提方法在固定和有限的时间范围内，能够以高概率实现$ ext{O}( ext{log} K ext{log log} K)$的遗憾界限，相较于传统方法，显著提升了学习性能，验证了理论的有效性。

🎯 应用场景

该研究的潜在应用领域包括金融市场的高频交易、机器人控制系统以及其他需要实时决策的动态环境。通过优化控制策略，能够显著提高系统的效率和稳定性，具有重要的实际价值和未来影响。

📄 摘要（原文）

High-frequency control problems are often studied through time discretization, but refining the timestep $δ$ increases the discrete horizon $H=T/δ$ and can make standard finite-horizon regret guarantees deteriorate even when the physical horizon $T$ is fixed. We study episodic value-based reinforcement learning for Euler discretizations of controlled diffusions. The performance is measured as the cumulative regret over $K$ episodes relative to the optimal policy of the corresponding Euler model. Under stability and regularity conditions on value function gradients, Bellman residual derivatives, and fitted critics, we prove an $\mathcal{O}(\log K)$ regret bound with constants uniform in $δ$. For dynamics with drift linear in unknown parameters and unknown constant diffusion covariance, we verify localized versions of these conditions for a constrained, model-based controlled-diffusion fitted-$Q$ algorithm (CD-FQ) and obtain high-probability $\mathcal{O}(\log K\log\log K)$ regret for fixed and finite $T$, again with constants uniform in $δ$.