HumanoidVLN: A Physics-Grounded Simulator and Benchmark for Vision-Language Navigation Across Diverse Humanoid Embodiments
作者: Quan-Dung Pham, Anh Dao, The-Anh Nguyen, Minh Nguyen-Dinh, Phuong Nam Dang, Tri Pham, Hung Tran, Bach Dao, Tuyen P. Le, Truong Nguyen, Quan Nguyen
分类: cs.RO
发布日期: 2026-08-13
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出HumanoidVLN以解决人形机器人视觉语言导航中的物理约束问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 人形机器人 物理模拟 强化学习 路径跟踪 多模态交互 环境建模
📋 核心要点
- 现有的视觉语言导航方法未能考虑双足机器人在物理运动中的约束，导致导航性能不足。
- 本文提出HumanoidVLN，利用基于物理的模拟器和多样的人形机器人配置，解决了现有方法的局限性。
- 实验表明，JanusVLN在多种配置下取得了43.55%的成功率，展示了模型与控制器之间的良好互动。
📝 摘要（中文）
人形机器人视觉语言导航（VLN）面临现有基准未能解决的挑战：双足行走带来的物理约束、不同人形形态的多样性以及因运动引起的摄像头动态失真。本文提出HumanoidVLN，一个基于物理的模拟器和基准，支持多种人形机器人配置。该平台基于NVIDIA Isaac Sim构建，展示了四种机器人（Unitree G1、Unitree H1、Internal-A、Internal-B），涵盖10-12个下肢自由度，身高从1.17米到1.80米。通过层次控制栈结合强化学习行走策略与可互换的PD或MPC路径跟踪器，新的机器人和VLN模型可以轻松集成。环境由艺术家设计的场景和3D高斯散点重建构成，过滤出超过100平方米的可导航区域。生成的指令经过双生成-审查加上改写的多代理管道，确保933个碰撞感知参考集的质量。实验结果显示，JanusVLN在四个模型和四种人形配置中取得了43.55%的最高平均成功率。
🔬 方法详解
问题定义：本文旨在解决人形机器人在视觉语言导航中面临的物理约束和形态多样性问题。现有方法主要针对轮式代理，未能有效应对双足行走带来的挑战。
核心思路：论文提出HumanoidVLN，通过构建一个基于物理的模拟器，支持多种人形机器人配置，以适应不同的导航需求。设计上结合了强化学习与路径跟踪策略，增强了导航的灵活性与准确性。
技术框架：整体架构包括一个基于NVIDIA Isaac Sim的模拟器，支持多种人形配置，并通过层次控制栈实现行走策略与路径跟踪的结合。环境设计采用艺术家设计的场景与3D重建，确保可导航区域的多样性。
关键创新：最重要的创新在于构建了一个可扩展的物理基础模拟平台，能够轻松集成新的机器人和VLN模型，显著提升了导航任务的适应性与准确性。
关键设计：在技术细节上，采用了强化学习策略与PD或MPC路径跟踪器的组合，确保了机器人在复杂环境中的稳定性与灵活性。指令生成采用双生成-审查机制，确保了指令的多样性与准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，JanusVLN在四种人形配置下达到了43.55%的最高平均成功率，且在20集模拟到现实的试验中，导航误差与真实环境高度相关（r=0.935），展示了模型的有效性与可靠性。
🎯 应用场景
HumanoidVLN的研究成果在智能机器人、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提升人形机器人在复杂环境中的导航能力，该平台能够推动人机交互的进步，并为未来的智能系统提供更为可靠的导航解决方案。
📄 摘要（原文）
Vision-Language Navigation (VLN) for humanoid robots poses challenges existing benchmarks fail to address: bipedal locomotion imposes physical constraints absent from wheeled agents, humanoid morphologies vary across platforms, and egocentric observations are distorted by locomotion-induced camera dynamics. We present HumanoidVLN, a physics-grounded simulator and benchmark for VLN across diverse humanoid embodiments. Built on NVIDIA Isaac Sim, our platform supports an extensible set of humanoid configurations, demonstrated on four robots (Unitree G1, Unitree H1, Internal-A, Internal-B) spanning 10-12 lower-body DoF and heights from 1.17m to 1.80m, via a hierarchical control stack combining a reinforcement learning locomotion policy with interchangeable PD or MPC path trackers. New robots and VLN models integrate with minimal effort; we demonstrate compatibility with NaVILA, DualVLN, StreamVLN, and JanusVLN. Environments are drawn from artist-designed scenes and 3D Gaussian Splatting reconstructions, filtered for navigable areas exceeding 100 square meters. Instructions are generated by a dual generator-reviewer plus paraphraser multi-agent pipeline with human-in-the-loop verification, yielding 933 collision-aware reference episodes, each paired with one fine-grained instruction and three coarse-grained stylistic variants (formal, natural, casual). Across four models and four embodiments, JanusVLN achieves the highest mean success rate of 43.55% and nDTW of 48.38. In a 20-episode sim-to-real pilot with DualVLN and the Unitree G1, navigation errors correlate strongly (r=0.935), with a mean absolute difference of 0.68m and mean trajectory similarity of 0.782 (+/-0.188) nDTW. These results highlight the interaction between VLN models, controllers, and humanoid embodiments under physical execution. Code, benchmark, and data will be released upon acceptance at https://humanoid-vln.github.io/.