Humanoid-OmniOcc: Stereo-Based Full-View Occupancy Dataset for Embodied AI

📄 arXiv: 2606.22971v1 📥 PDF

作者: Xianda Guo, Bohao Zhang, Chenwei Huang, Shiyuan Chen, Ruilin Wang, Yiqun Duan, Cong Yang, Qin Zou, Wei Sui

分类: cs.RO, cs.CV

发布日期: 2026-06-22

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Humanoid-OmniOcc以解决人形机器人环境占用预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 占用预测 人形机器人 全景立体 数据集 深度学习 模拟与现实 机器人导航

📋 核心要点

  1. 现有的占用数据集主要针对自动驾驶，存在车辆中心偏见，限制了在类人机器人感知中的应用。
  2. 提出Humanoid-OmniOcc数据集，基于全景立体技术，专为人形机器人设计，涵盖多样化场景。
  3. 实验表明，Humanoid-OmniOcc在性能上超越了单目基线，并在未见场景中具有良好的泛化能力。

📝 摘要（中文）

占用预测在体素级别对于复杂环境中的安全机器人导航和交互至关重要。然而，现有的占用数据集主要针对自动驾驶，存在车辆中心偏见，限制了其在类人机器人感知中的适用性。本文提出了Humanoid-OmniOcc，一个基于全景立体的占用数据集，专为人形机器人设计。该数据集涵盖15个多样化的模拟室内场景和5个真实环境，提供超过155K样本，具有广泛的场景和风格多样性。数据集围绕Real2Sim2Real闭环范式设计，确保真实传感器规格驱动物理准确的模拟，模拟生成大规模标注训练数据，并在真实世界捕获中直接评估训练模型，从而实现模拟到现实的迭代优化。我们还提出了Humanoid Surround Stereo-guided Occupancy模型，利用稳健的深度先验进行准确的2D到3D提升。实验结果表明，Humanoid-OmniOcc在未见的模拟测试场景和真实环境中均表现出色，验证了Real2Sim2Real设计的有效性。

🔬 方法详解

问题定义：本文旨在解决现有占用数据集在类人机器人应用中的局限性，尤其是其车辆中心偏见和静态场景假设。现有方法无法有效支持复杂环境中的动态导航和交互需求。

核心思路：提出Humanoid-OmniOcc数据集，采用全景立体技术，结合Real2Sim2Real闭环范式，确保真实传感器规格驱动物理准确的模拟，从而生成大规模标注数据，提升模型在真实环境中的表现。

技术框架：整体架构包括三个主要阶段：首先，使用真实传感器数据驱动模拟环境的构建；其次，通过模拟生成标注数据；最后，在真实环境中评估训练模型，形成闭环反馈。

关键创新：Humanoid-OmniOcc数据集的设计和Real2Sim2Real范式是本研究的核心创新，与现有方法相比，提供了更为丰富和多样的训练数据，增强了模型的泛化能力。

关键设计：在模型设计中，采用了Humanoid Surround Stereo-guided Occupancy模型，利用深度先验进行2D到3D的提升，确保了占用预测的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Humanoid-OmniOcc在多个未见的模拟测试场景和真实环境中均超越了单目基线，验证了其设计的有效性。具体而言，模型在占用预测任务中表现出显著的性能提升，进一步证明了Real2Sim2Real设计的优势。

🎯 应用场景

该研究的潜在应用领域包括人形机器人在复杂环境中的导航、交互和任务执行。通过提供高质量的占用数据集，Humanoid-OmniOcc能够显著提升机器人在动态环境中的适应能力和安全性，推动智能机器人技术的发展。

📄 摘要（原文）

Occupancy prediction at voxel-level granularity is essential for safe robotic navigation and interaction in complex environments. Existing occupancy datasets, however, are predominantly designed for autonomous driving with vehicle-centric biases -- forward-facing cameras, far-field geometry, and static road priors -- limiting their applicability to embodied humanoid perception. We present Humanoid-OmniOcc, a large-scale panoramic stereo-based occupancy dataset tailored for humanoid robots. The dataset encompasses 15 diverse simulated indoor scenes and 5 real-world environments, yielding over 155K samples with broad scene and style diversity. Importantly, the dataset is designed around a Real2Sim2Real closed-loop paradigm: real sensor specifications drive physically accurate simulation, simulation produces large-scale annotated training data, and models trained in simulation are directly evaluated on real-world captures -- enabling iterative refinement of the sim-to-real pipeline. We further propose \textbf{H}umanoid \textbf{S}urround \textbf{S}tereo-guided \textbf{Occ}upancy model (Humanoid-OmniOcc) that exploits robust depth priors for accurate 2D-to-3D lifting. Extensive experiments show that Humanoid-OmniOcc consistently outperforms monocular baselines and generalizes well to both unseen simulated test scenes and real-world environments, validating the effectiveness of the Real2Sim2Real design. Code and data will be available upon acceptance at https://d-robotics-ai-lab.github.io/humanoid-omniocc.