Fitted Occupancy-Ratio Evaluation without Bellman Completeness

📄 arXiv: 2607.05375v1 📥 PDF

作者: Lars van der Laan, Nathan Kallus

分类: stat.ML, cs.LG

发布日期: 2026-07-06

💡 一句话要点

提出拟合占用比评估方法以解决离线强化学习中的分布偏移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 占用比 贝尔曼递归 策略评估 Kullback-Leibler散度 密度比估计 双重稳健估计

📋 核心要点

  1. 现有的占用比估计方法依赖于复杂的贝尔曼完备性假设，限制了其在离线强化学习中的应用。
  2. 本文提出的拟合占用比评估（FORE）方法，通过伴随贝尔曼递归简化了占用比的估计过程，降低了对完备性假设的依赖。
  3. 实验结果表明，FORE方法在KL散度收敛性和有限样本后悔界限方面表现优越，支持直接的价值估计和双重稳健估计。

📝 摘要（中文）

占用比在离线强化学习中用于修正分布偏移，并在离线策略评估中起着核心作用。现有的原始-对偶和极小极大方法通常通过在评论员类上强制占用平衡时刻来估计这些比率。本文提出了一种拟合占用比评估（FORE）的方法，通过伴随贝尔曼递归来表征折扣占用比。在每次迭代中，FORE在一步转移数据上解决单层密度比目标，从而将伴随贝尔曼图像投影到Kullback-Leibler（KL）散度的对数比类中。与通常需要价值函数可实现性及贝尔曼完备性或投影算子稳定性的拟合Q评估分析不同，我们的中心近似条件仅是折扣占用比本身的可实现性。基于这一条件，群体KL投影递归在相对熵中收敛于真实比率，得益于伴随贝尔曼算子是KL收缩的特性。

🔬 方法详解

问题定义：本文旨在解决现有离线强化学习中占用比估计的局限性，尤其是对贝尔曼完备性假设的依赖，这使得方法在实际应用中受到限制。

核心思路：提出的拟合占用比评估（FORE）方法通过伴随贝尔曼递归来表征折扣占用比，简化了占用比的估计过程，避免了对复杂假设的依赖。

技术框架：FORE方法的整体架构包括在每次迭代中解决单层密度比目标，利用一步转移数据进行优化，并将伴随贝尔曼图像投影到对数比类中。

关键创新：本文的主要创新在于将折扣占用比的可实现性作为中心近似条件，显著降低了对贝尔曼完备性假设的需求，使得方法在离线策略评估中更具实用性。

关键设计：FORE方法的关键设计包括使用Kullback-Leibler散度作为投影标准，设定适当的损失函数以优化密度比目标，并确保在有限样本条件下的收敛性和后悔界限。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FORE方法在KL散度收敛性方面表现优越，有限样本后悔界限的建立使得其在实际应用中具有更高的可靠性。与传统方法相比，FORE在折扣占用比的估计上实现了显著的性能提升，具体数值未提供，需参考原文。

🎯 应用场景

该研究的潜在应用领域包括离线强化学习、推荐系统和决策支持系统等。通过提供更为可靠的占用比估计，FORE方法能够提升策略评估的准确性，从而在实际应用中实现更优的决策效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Occupancy ratios correct distribution shift in offline reinforcement learning and are central to off-policy evaluation. Existing primal-dual and minimax methods typically estimate these ratios by enforcing occupancy-balance moments over a critic class. We propose fitted occupancy-ratio evaluation (FORE), a fitted fixed-point method that characterizes the discounted occupancy ratio through an adjoint Bellman recursion. At each iteration, FORE solves a single-level density-ratio objective on one-step-transition data, thereby projecting the adjoint Bellman image onto a log-ratio class in Kullback--Leibler (KL) divergence. Unlike analyses of fitted Q-evaluation, which typically require value-function realizability together with Bellman completeness or projected-operator stability, our central approximation condition is just realizability of the discounted occupancy ratio itself. Under this condition, the population KL-projected recursion contracts in relative entropy toward the true ratio by virtue of the adjoint Bellman operator being a KL-contraction. For the empirical recursion, we establish finite-sample regret bounds that yield convergence in KL up to log-ratio approximation error and a statistical error governed by the complexity of the ratio hypothesis class. The fitted ratio supports direct value estimation by reward reweighting, occupancy-weighted fitted Q-evaluation, and doubly robust estimation that combines the fitted ratio with a fitted Q-function. Together, these results identify discounted occupancy-ratio realizability as a sufficient condition for offline policy evaluation without any completeness assumptions.