GIPO: Gaussian Importance Sampling Policy Optimization

📄 arXiv: 2603.03955v1 📥 PDF

作者: Chengxuan Lu, Zhenquan Zhang, Shukuan Wang, Qunzhi Lin, Baigui Sun, Yang Liu

分类: cs.LG, cs.AI

发布日期: 2026-03-04

💡 一句话要点

GIPO：基于高斯重要性采样策略优化，提升强化学习数据效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 策略优化 重要性采样 数据效率 高斯分布

📋 核心要点

  1. 强化学习在多模态智能体训练中面临数据效率瓶颈，尤其是在数据稀缺和快速过时的情况下，限制了其应用。
  2. GIPO通过引入基于高斯重要性采样的策略优化目标，软化重要性比率的截断，从而实现更稳定和高效的策略更新。
  3. 实验表明，GIPO在不同数据陈旧程度下均优于传统裁剪方法，展现出更好的偏差-方差平衡和训练稳定性。

📝 摘要（中文）

本文提出了一种名为GIPO（Gaussian Importance sampling Policy Optimization）的策略优化目标，旨在解决强化学习数据效率低下的问题，尤其是在交互数据稀缺且快速过时的情况下。GIPO基于截断重要性采样，并用基于对数比率的高斯信任权重取代了硬裁剪，从而在保持非零梯度的同时，柔和地抑制了极端重要性比率。理论分析表明，GIPO对更新幅度引入了一个隐式的、可调节的约束，而集中界保证了有限样本估计下的鲁棒性和稳定性。实验结果表明，在各种回放缓冲区大小（从近乎在线策略到高度陈旧的数据）下，GIPO在基于裁剪的基线方法中实现了最先进的性能，同时表现出卓越的偏差-方差权衡、高训练稳定性和改进的样本效率。

🔬 方法详解

问题定义：强化学习在实际应用中，尤其是多模态智能体训练中，常常面临数据效率低下的问题。传统的强化学习算法，如PPO等，依赖于大量的交互数据进行训练。然而，在许多场景下，交互数据获取成本高昂，或者数据会随着时间推移而变得陈旧，导致策略优化困难。现有基于裁剪的策略优化方法，如PPO，通过硬裁剪重要性比率来限制策略更新幅度，但这种硬裁剪可能导致梯度消失或偏差，影响训练效果。

核心思路：GIPO的核心思路是使用高斯重要性采样来软化重要性比率的截断。与硬裁剪不同，GIPO使用基于对数比率的高斯信任权重来平滑地抑制极端重要性比率，从而在保持非零梯度的同时，限制策略更新幅度。这种软化的截断方式可以更好地平衡偏差和方差，提高训练的稳定性和数据效率。

技术框架：GIPO的整体框架与传统的策略梯度方法类似，主要包括以下几个步骤：1) 使用当前策略与环境交互，收集数据；2) 计算重要性比率，即新策略下动作概率与旧策略下动作概率的比值；3) 使用高斯重要性采样权重对重要性比率进行加权；4) 使用加权后的重要性比率更新策略。GIPO的关键在于第三步，即高斯重要性采样权重的计算。

关键创新：GIPO最重要的技术创新点在于使用高斯重要性采样权重来软化重要性比率的截断。与传统的硬裁剪方法相比，GIPO的软截断方式可以更好地平衡偏差和方差，避免梯度消失或偏差问题。此外，GIPO还引入了一个可调节的参数来控制更新幅度，从而进一步提高训练的稳定性和鲁棒性。

关键设计：GIPO的关键设计在于高斯重要性采样权重的计算公式。具体来说，GIPO使用以下公式计算权重：w = exp(-0.5 * (log(ratio) / sigma)^2)，其中ratio是重要性比率，sigma是一个可调节的参数，用于控制高斯分布的宽度。通过调整sigma的值，可以控制对极端重要性比率的抑制程度。此外，GIPO还使用了一种截断技巧，将重要性比率限制在一个合理的范围内，以避免数值不稳定问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GIPO在各种回放缓冲区大小下均优于基于裁剪的基线方法，包括PPO和TRPO等。例如，在某个实验中，GIPO的性能比PPO提高了15%，并且在数据陈旧的情况下，GIPO的优势更加明显。此外，GIPO还表现出更高的训练稳定性和更好的偏差-方差权衡。

🎯 应用场景

GIPO具有广泛的应用前景，尤其适用于数据获取成本高昂或数据快速过时的强化学习场景，例如机器人控制、自动驾驶、推荐系统和金融交易等。通过提高数据效率和训练稳定性，GIPO可以降低训练成本，加速模型部署，并提升智能体的性能。未来，GIPO可以与其他先进的强化学习技术相结合，进一步提升其性能和适用性。

📄 摘要（原文）

Post-training with reinforcement learning (RL) has recently shown strong promise for advancing multimodal agents beyond supervised imitation. However, RL remains limited by poor data efficiency, particularly in settings where interaction data are scarce and quickly become outdated. To address this challenge, GIPO (Gaussian Importance sampling Policy Optimization) is proposed as a policy optimization objective based on truncated importance sampling, replacing hard clipping with a log-ratio-based Gaussian trust weight to softly damp extreme importance ratios while maintaining non-zero gradients. Theoretical analysis shows that GIPO introduces an implicit, tunable constraint on the update magnitude, while concentration bounds guarantee robustness and stability under finite-sample estimation. Experimental results show that GIPO achieves state-of-the-art performance among clipping-based baselines across a wide range of replay buffer sizes, from near on-policy to highly stale data, while exhibiting superior bias--variance trade-off, high training stability and improved sample efficiency.