Continuous-time Optimal Stopping through Deep Reinforcement Learning

📄 arXiv: 2606.17545v1 📥 PDF

作者: Cosmin Borsa, Michael Ludkovski

分类: cs.LG, q-fin.CP, q-fin.PR

发布日期: 2026-06-16

备注: 33 pages

💡 一句话要点

提出CARLOS算法以解决连续时间最优停止问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 最优停止 深度强化学习 金融衍生品 动态决策 聚合深度神经网络

📋 核心要点

  1. 现有的最优停止问题求解方法在停止决策的离散化上存在不足，可能导致收益低估或近似误差累积。
  2. 论文提出的CARLOS算法通过聚合深度神经网络，能够在任意细的时间分辨率下学习最优停止规则，克服了传统方法的局限。
  3. 实验结果表明，CARLOS在价格上优于现有的Bermudan求解器，接近美式期权的理论上限，且计算效率显著提升。

📝 摘要（中文）

针对最优停止问题的模拟求解器通常需要对停止决策进行离散化。在传统动态规划中，粗糙的执行网格可能会显著低估最优期望收益，而过于细致的网格则会在反向递归中累积近似误差。为了解决这一限制，本文提出了一种新的强化学习启发算法，CARLOS（连续时间自适应强化学习最优停止），能够在任意细的时间分辨率下学习执行规则。该算法利用聚合深度神经网络（ADNN）学习联合的时空决策边界，从粗糙的时间网格开始，逐步增加停止机会的频率，同时训练ADNN以精细化其时值估计。此外，设计了一种自适应采样策略，逐步将训练精力集中在停止边界附近。基准结果显示，CARLOS的价格高于现有的Bermudan求解器，接近美式期权的上限，并且相较于非强化学习的比较方法具有较高的计算效率。

🔬 方法详解

问题定义：本文旨在解决最优停止问题中的停止决策离散化带来的收益低估和近似误差累积的问题。现有方法在处理细粒度时间决策时存在显著局限性。

核心思路：CARLOS算法的核心思路是利用聚合深度神经网络（ADNN）来学习一个联合的时空决策边界，通过逐步增加停止机会的频率来提高决策的精确性。

技术框架：该算法从一个粗糙的时间网格开始，逐步增加停止机会的频率，同时训练ADNN以精细化其时值估计。算法还设计了一种自适应采样策略，集中训练精力在停止边界附近。

关键创新：CARLOS算法的主要创新在于其能够在连续时间框架下自适应地学习最优停止规则，显著提高了决策的精确性和计算效率，区别于传统的离散化方法。

关键设计：算法中使用的ADNN结构能够处理复杂的时空决策边界，损失函数设计上注重时值的精确估计，关键参数设置上通过自适应采样策略优化训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CARLOS算法在价格预测上显著优于现有的Bermudan求解器，接近美式期权的理论上限，且在计算效率上相较于非强化学习的比较方法提升了多个数量级，展示了其在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括金融衍生品定价、风险管理和投资决策等。通过提高最优停止决策的精确性，CARLOS算法能够为金融市场参与者提供更优的策略选择，进而提升投资收益和风险控制能力。未来，该方法还可能扩展到其他需要动态决策的领域，如机器人控制和智能调度等。

📄 摘要（原文）

Simulation based solvers for optimal stopping problems must discretize the stopping decision. Under classical dynamic programming, a coarse exercise grid with only a few stopping opportunities can materially undervalue the optimal expected reward, whereas on a very fine grid, approximation errors accumulate through the backward recursion. To remove this limitation, we develop a new reinforcement-learning inspired algorithm that enables us to learn the exercise rule at arbitrarily fine time resolution. Our CARLOS (Continuous-time Adaptive Reinforcement Learning for Optimal Stopping) algorithm utilizes an aggregate deep neural network (ADNN) to learn a joint space-time decision boundary. Starting from a coarse time grid, we progressively increase the frequency of stopping opportunities, while in parallel training the ADNN to refine its timing-value estimates. We moreover design an adaptive sampling strategy that gradually concentrates training effort near the stopping boundary. Benchmarked results show that CARLOS delivers higher prices than existing Bermudan solvers, approaching the American upper bound, and achieves high computational efficiency relative to non-RL comparators.