QQWorld: Quantile-Quantile Matching for World Model Regularization

📄 arXiv: 2607.28415v1 📥 PDF

作者: Zhoushun Yu, Xiaoyu Hu, Xiangyu Xu

分类: cs.LG, cs.AI, cs.CV, cs.MM, cs.RO

发布日期: 2026-07-30

💡 一句话要点

提出QQWorld以解决潜在世界模型的尾部样本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 分位数匹配 高斯对齐 重尾偏差 机器人规划

📋 核心要点

  1. 现有的潜在世界模型在处理尾部样本时存在梯度消失的问题，导致重尾偏差控制不足。
  2. QQWorld通过引入分位数-分位数匹配目标，直接对齐潜在样本与高斯分位数，从而改善了尾部样本的梯度修正。
  3. 在四个控制环境中，QQWorld显著提高了LeWM的平均规划成功率，并改善了高斯对齐效果。

📝 摘要（中文）

潜在世界模型通过在紧凑表示空间中预测未来状态来实现高效规划，但其性能严重依赖于学习到的潜在分布的质量。LeWM通过Epps-Pulley（EP）目标将潜在分布正则化为各向同性高斯分布。然而，EP的修正梯度在孤立的尾部样本中迅速消失，导致重尾偏差控制不足。为了解决这一局限性，本文提出了QQWorld，采用分位数-分位数匹配目标，直接将投影的潜在样本与排名匹配的高斯分位数对齐，从而在尾部保持有效的修正梯度。此外，本文进一步开发了跨批次QQ，利用来自先前批次的分离样本扩大有效排名池，并表征其偏差-方差权衡。在四个控制环境中，QQWorld有效提高了LeWM的平均规划成功率，同时在高斯对齐和潜在尾部的厚度上表现更佳。

🔬 方法详解

问题定义：本文旨在解决潜在世界模型在处理尾部样本时的梯度消失问题，现有的Epps-Pulley目标未能有效控制重尾偏差。

核心思路：QQWorld通过分位数-分位数匹配目标，直接将潜在样本与高斯分位数对齐，确保在尾部保持有效的修正梯度，从而提升模型的稳定性和准确性。

技术框架：QQWorld的整体架构包括潜在样本的生成、分位数匹配过程和跨批次样本的整合。首先生成潜在样本，然后通过分位数匹配对其进行调整，最后利用跨批次样本增强排名池。

关键创新：QQWorld的主要创新在于采用分位数-分位数匹配替代传统的Epps-Pulley目标，使得尾部样本的修正梯度不再迅速消失，从而有效控制重尾偏差。

关键设计：在设计中，QQWorld引入了跨批次QQ的机制，利用历史样本来扩大有效排名池，并在损失函数中考虑了偏差-方差权衡，以优化模型性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，QQWorld在四个控制环境中显著提高了LeWM的平均规划成功率，具体提升幅度达到XX%，同时在高斯对齐和潜在尾部的厚度上表现出更优的效果，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人规划、自动驾驶和智能控制系统等。通过改善潜在世界模型的性能，QQWorld能够在复杂环境中实现更高效的决策和规划，具有重要的实际价值和未来影响。

📄 摘要（原文）

Latent world models enable efficient planning by predicting future states in a compact representation space, but their performance depends critically on the quality of the learned latent distribution. LeWorldModel (LeWM) regularizes its latents toward an isotropic Gaussian using the Epps-Pulley (EP) objective. We show that the corrective gradients of EP rapidly vanish for isolated tail samples, leaving heavy-tailed deviations insufficiently controlled. To address this limitation, we propose QQWorld, which replaces EP with a quantile-quantile matching objective that directly aligns projected latent samples with rank-matched Gaussian quantiles, thereby maintaining effective corrective gradients in the tails. We further develop cross-batch QQ, which enlarges the effective ranking pool using detached samples from previous batches, and characterize its bias-variance trade-off. Across four control environments, QQWorld effectively improves the average planning success rate of LeWM, while consistently yielding better Gaussian alignment and thinner latent tails.