Replicable Reinforcement Learning with Linear Function Approximation

📄 arXiv: 2509.08660v2 📥 PDF

作者: Eric Eaton, Marcel Hussing, Michael Kearns, Aaron Roth, Sikata Bela Sengupta, Jessica Sorrell

分类: cs.LG

发布日期: 2025-09-10 (更新: 2025-10-01)

💡 一句话要点

针对线性函数逼近的强化学习，提出可复现算法以提升实验一致性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 可复现性 线性函数逼近 马尔可夫决策过程 随机设计回归

📋 核心要点

  1. 强化学习算法的实验结果难以复现，影响了研究的可靠性，尤其是在不稳定的函数逼近场景下。
  2. 论文提出可复现的线性函数逼近强化学习算法，保证在相同分布样本上多次运行结果的一致性。
  3. 通过实验验证了所提算法的有效性，并展示了其在提升神经策略一致性方面的潜力。

📝 摘要（中文）

实验结果的可复现性是包括机器学习在内的许多科学领域面临的挑战。最近关于机器学习理论的工作将可复现性形式化为：算法在来自相同分布的不同样本上执行两次时，应产生相同的结果。对于强化学习（RL）而言，可证明可复现的算法尤其重要，因为已知RL算法在实践中是不稳定的。虽然表格型RL设置存在可复现的算法，但将这些保证扩展到更实用的函数逼近设置仍然是一个开放的问题。在这项工作中，我们通过为RL中的线性函数逼近开发可复现的方法取得了进展。我们首先介绍了两种用于可复现随机设计回归和非中心协方差估计的有效算法，每种算法都具有独立的意义。然后，我们利用这些工具，在生成模型和 episodic 设置中，为线性马尔可夫决策过程提供了第一个可证明有效的可复现RL算法。最后，我们对算法进行了实验评估，并展示了它们如何激发更一致的神经策略。

🔬 方法详解

问题定义：现有强化学习算法，尤其是在使用函数逼近时，存在训练结果不稳定、难以复现的问题。即使在相同环境和超参数下，多次训练得到的策略也可能差异很大。这使得算法的评估和比较变得困难，也阻碍了强化学习在实际应用中的部署。

核心思路：论文的核心思路是设计可复现的强化学习算法，即算法的输出只依赖于输入数据的分布，而不依赖于特定的样本。通过确保算法的确定性，可以保证在相同分布的数据上多次运行得到相同的结果。针对线性函数逼近，论文利用可复现的回归和协方差估计方法，构建可复现的策略学习算法。

技术框架：论文的技术框架主要包含以下几个阶段：1) 提出可复现的随机设计回归算法；2) 提出可复现的非中心协方差估计算法；3) 基于上述两种算法，构建可复现的线性马尔可夫决策过程（MDP）强化学习算法，分别针对生成模型和 episodic 设置；4) 通过实验验证算法的可复现性和性能。

关键创新：论文的关键创新在于提出了首个针对线性函数逼近的可复现强化学习算法。与现有方法相比，该算法能够保证在相同数据分布下多次运行得到相同的结果，从而解决了强化学习算法难以复现的问题。此外，论文还提出了两种独立的、具有重要意义的可复现算法：随机设计回归和非中心协方差估计。

关键设计：论文的关键设计包括：1) 使用可复现的回归算法来估计价值函数；2) 使用可复现的协方差估计算法来估计状态转移概率；3) 将上述两种估计方法结合起来，构建可复现的策略迭代算法。具体的参数设置和损失函数取决于具体的线性MDP模型和强化学习算法。

📊 实验亮点

论文通过实验验证了所提算法的可复现性，并展示了其在提升神经策略一致性方面的潜力。实验结果表明，与传统的强化学习算法相比，所提算法能够显著降低策略的方差，提高策略的稳定性。具体的性能数据和对比基线在论文中有详细描述。

🎯 应用场景

该研究成果可应用于对结果一致性要求较高的强化学习应用场景，例如自动驾驶、医疗决策等。通过使用可复现的强化学习算法，可以提高系统的可靠性和安全性，降低因算法不稳定而导致的风险。此外，该研究也有助于推动强化学习理论的发展，为设计更稳定、更可靠的强化学习算法提供理论基础。

📄 摘要（原文）

Replication of experimental results has been a challenge faced by many scientific disciplines, including the field of machine learning. Recent work on the theory of machine learning has formalized replicability as the demand that an algorithm produce identical outcomes when executed twice on different samples from the same distribution. Provably replicable algorithms are especially interesting for reinforcement learning (RL), where algorithms are known to be unstable in practice. While replicable algorithms exist for tabular RL settings, extending these guarantees to more practical function approximation settings has remained an open problem. In this work, we make progress by developing replicable methods for linear function approximation in RL. We first introduce two efficient algorithms for replicable random design regression and uncentered covariance estimation, each of independent interest. We then leverage these tools to provide the first provably efficient replicable RL algorithms for linear Markov decision processes in both the generative model and episodic settings. Finally, we evaluate our algorithms experimentally and show how they can inspire more consistent neural policies.