Locality Sensitive Sparse Encoding for Learning World Models Online

📄 arXiv: 2401.13034v4 📥 PDF

作者: Zichen Liu, Chao Du, Wee Sun Lee, Min Lin

分类: cs.LG, cs.AI

发布日期: 2024-01-23 (更新: 2024-04-17)

备注: ICLR 2024

💡 一句话要点

提出局部敏感稀疏编码以在线学习世界模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 在线学习 强化学习 增量更新 稀疏编码 非线性特征 数据协变量转移 深度学习

📋 核心要点

  1. 现有基于模型的强化学习方法在数据非平稳性下容易导致灾难性遗忘，难以实现有效的在线学习。
  2. 本文提出了一种结合线性回归和非线性随机特征的世界模型，通过局部敏感稀疏编码实现高效的增量更新。
  3. 实验结果显示，所提模型在Dyna MBRL设置中，在线学习的性能超过或匹配了深度世界模型，展现了良好的学习能力。

📝 摘要（中文）

在线获取准确的世界模型对于基于模型的强化学习（MBRL）具有挑战性，尤其是在数据非平稳性导致神经网络（NNs）灾难性遗忘的情况下。本文提出了一种Follow-The-Leader（FTL）世界模型，利用线性回归模型和非线性随机特征的组合，实现增量更新。通过引入局部敏感稀疏编码，论文在高维非线性特征下实现了高效的稀疏更新，验证了其在数据协变量转移下的在线学习能力。实验结果表明，使用单次轨迹数据在线学习的世界模型在Dyna MBRL设置中，性能超过或匹配了使用重放和其他持续学习方法训练的深度世界模型。

🔬 方法详解

问题定义：本文旨在解决在线学习中世界模型的准确性问题，尤其是在数据非平稳性导致的灾难性遗忘现象。现有的神经网络模型需要在每次交互时对所有累积数据进行重新训练，计算成本高昂，难以适应终身学习的需求。

核心思路：论文提出了一种Follow-The-Leader（FTL）世界模型，结合线性回归模型和非线性随机特征，旨在通过增量更新实现高效的在线学习。线性部分确保了FTL更新的高效性，而非线性随机特征则增强了对复杂环境的拟合能力。

技术框架：整体架构包括线性回归模型作为基础，非线性随机特征作为增强部分，局部敏感稀疏编码用于实现高效的稀疏更新。模型在每个交互步骤中通过增量更新来适应新数据。

关键创新：最重要的创新点在于引入局部敏感稀疏编码，使得即使在高维非线性特征下也能实现高效的稀疏更新。这一设计与传统的神经网络模型在处理数据时的全量更新方式形成了鲜明对比。

关键设计：在模型设计中，采用了线性回归的损失函数以确保更新的高效性，同时通过随机特征的选择来增强模型的表达能力。具体参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

实验结果表明，所提出的世界模型在Dyna MBRL设置中，使用单次轨迹数据在线学习的性能超过或匹配了使用重放和其他持续学习方法训练的深度世界模型，展示了在数据协变量转移下的强大适应能力。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、智能控制系统和自适应学习系统等。通过实现高效的在线学习，模型能够在动态环境中快速适应，提升智能体的决策能力和学习效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Acquiring an accurate world model online for model-based reinforcement learning (MBRL) is challenging due to data nonstationarity, which typically causes catastrophic forgetting for neural networks (NNs). From the online learning perspective, a Follow-The-Leader (FTL) world model is desirable, which optimally fits all previous experiences at each round. Unfortunately, NN-based models need re-training on all accumulated data at every interaction step to achieve FTL, which is computationally expensive for lifelong agents. In this paper, we revisit models that can achieve FTL with incremental updates. Specifically, our world model is a linear regression model supported by nonlinear random features. The linear part ensures efficient FTL update while the nonlinear random feature empowers the fitting of complex environments. To best trade off model capacity and computation efficiency, we introduce a locality sensitive sparse encoding, which allows us to conduct efficient sparse updates even with very high dimensional nonlinear features. We validate the representation power of our encoding and verify that it allows efficient online learning under data covariate shift. We also show, in the Dyna MBRL setting, that our world models learned online using a single pass of trajectory data either surpass or match the performance of deep world models trained with replay and other continual learning methods.