DeepWaveRL: Self-Supervised Full Waveform Inversion via Reinforcement Learning
作者: Peng Jin, Yinan Feng, Yinpeng Chen, Youzuo Lin, Sharon Huang
分类: cs.LG, physics.geo-ph
发布日期: 2026-11-02
💡 一句话要点
提出DeepWaveRL以解决全波形反演中的梯度获取问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 全波形反演 自监督学习 强化学习 地震勘探 地下属性估计 策略学习 数据不匹配
📋 核心要点
- 现有的全波形反演方法在没有梯度信息的情况下难以稳定学习，导致性能下降。
- 本文提出DeepWaveRL框架，将FWI视为策略学习问题，通过强化学习实现自监督学习。
- 实验结果显示，DeepWaveRL在仅依赖单一标量奖励的情况下，性能与现有方法相当，展示了其有效性。
📝 摘要（中文）
全波形反演（FWI）是地球物理学中的一个基本逆问题，旨在从地震测量中估计地下属性，如速度。近年来，自监督学习方法通过利用前向算子来模拟地震数据，从而消除了对真实速度图的需求。然而，现有方法在没有梯度访问的情况下面临更大的挑战。为此，本文将强化学习引入自监督FWI，提出了DeepWaveRL框架。该框架将FWI重新表述为一个策略学习问题，策略网络预测速度图作为动作，前向算子仅用于模拟。通过基于数据不匹配计算全局标量奖励，学习过程无需访问前向算子的梯度。实验结果表明，尽管完全依赖单一标量奖励，DeepWaveRL在性能上与监督和自监督基线相比具有竞争力。
🔬 方法详解
问题定义：本文旨在解决全波形反演（FWI）中在没有梯度信息的情况下进行有效学习的问题。现有方法依赖于前向算子的梯度，限制了其在某些应用场景中的适用性。
核心思路：论文的核心思路是将FWI重新构建为一个策略学习问题，利用强化学习框架来实现自监督学习。通过这种方式，策略网络可以直接预测速度图，而不需要依赖前向算子的梯度信息。
技术框架：DeepWaveRL框架包括策略网络、前向算子和奖励计算模块。策略网络负责生成速度图，前向算子用于模拟地震数据，奖励计算模块基于数据不匹配来评估预测的质量。
关键创新：最重要的技术创新在于将FWI视为策略学习问题，并通过全局标量奖励来引导学习过程。这一方法与传统依赖梯度的自监督学习方法本质上不同，提供了新的学习范式。
关键设计：在关键设计方面，论文提出了稳定学习的策略，包括如何计算奖励、如何设计网络结构等。具体的损失函数和网络架构细节在实验部分进行了详细讨论。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DeepWaveRL在仅依赖单一标量奖励的情况下，性能与监督和自监督基线相当，展示了其在全波形反演中的有效性。具体而言，DeepWaveRL在多个测试场景中均表现出竞争力，验证了其方法的可行性和灵活性。
🎯 应用场景
该研究的潜在应用领域包括地震勘探、地下资源探测和环境监测等。通过提供一种新的学习框架，DeepWaveRL能够在缺乏真实标签的情况下有效估计地下属性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Full Waveform Inversion (FWI) is a fundamental inverse problem in geophysics to estimate subsurface properties, such as velocity, from seismic measurements. Recently, self-supervised learning methods remove the need for ground-truth velocity maps during training by leveraging a forward operator to simulate seismic data from predictions and backpropagate the gradients of reconstruction loss through it. In this work, we consider a more challenging setting without accessing such gradients. To this end, we incorporate reinforcement learning into self-supervised FWI and propose a framework named DeepWaveRL. Specifically, we reformulate FWI as a policy learning problem, where the policy network predicts velocity maps as actions, and a forward operator is used solely for simulation. A global scalar reward is computed based on data misfit for each prediction and used to weight policy gradients. Thus, learning proceeds without accessing the gradients from the forward operator. Given the indirect and coarse supervision signals, we further identify key strategies to stabilize learning and mitigate the spatial credit assignment bottleneck. Experimental results show that, despite relying entirely on a single scalar reward, DeepWaveRL achieves competitive performance compared to supervised and self-supervised baselines. These findings suggest that our framework offers a flexible and complementary learning paradigm for the FWI research community.