HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL
作者: Langzhe Gu, Chengkai Hou, Meng Li, Xinhua Wang, Jiaming Liu, Xinyuan Lv, Bowei Zhang, Shuanghao Bai, Guangrun Li, Jingyang He, Gaole Dai, Ziluo Ding, Zhiyuan Xu, Kuan Cheng, Jian Tang, Zhengping Che, Shanghang Zhang
分类: cs.RO, cs.AI
发布日期: 2026-08-17
备注: Project page: https://grange007.github.io/HAF
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出HAF框架以解决人形机器人全身运动协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 全身运动 视觉-语言-动作 强化学习 动作流生成 运动协调 多任务学习
📋 核心要点
- 现有的单阶段VLA架构难以有效协调人形机器人的高维运动，导致动作不一致和性能不足。
- HAF框架通过分层动作流生成和潜在的离线到在线强化学习，解决了人形机器人全身运动协调的问题。
- 在七个真实世界的人形运动任务中，HAF框架超越了传统单阶段VLA基线，显著提升了全身协调性和任务表现。
📝 摘要（中文）
人形机器人在以人为中心的环境中具有广泛的应用潜力，但现有的通用视觉-语言-动作（VLA）基础模型难以直接应用于人形机器人的全身运动协调。由于人形运动的高维性和相互依赖性，传统的单阶段VLA架构难以有效协调行走、腰部姿态和双臂操作。此外，通过离线行为克隆训练的策略在实际部署中可能仍然表现不佳。为了解决这些瓶颈，本文提出了HAF（人形适应框架），该框架由HAF-VLA和HAF-Steer两部分组成，能够将现成的通用VLA模型转移到人形机器人的全身运动协调中。HAF-VLA是一个基于预训练流匹配VLA的分层动作流生成器，能够避免一次生成导致的全身动作不协调。HAF-Steer则是一个潜在的离线到在线强化学习管道，能够高效地优化策略并提升实际表现。
🔬 方法详解
问题定义：本文旨在解决人形机器人在全身运动协调中的挑战，现有的单阶段VLA架构无法有效处理高维运动的相互依赖性，导致动作不协调和性能不足。
核心思路：HAF框架通过分层动作流生成和潜在的离线到在线强化学习，避免了直接调整大型VLA骨干网络的计算开销和安全风险，从而实现高效的策略优化。
技术框架：HAF框架由两个主要模块组成：HAF-VLA和HAF-Steer。HAF-VLA是一个分层动作流生成器，将全身动作去噪分为三个顺序阶段，利用阶段嵌入和跨阶段KV缓存来保持运动的动力学依赖性。HAF-Steer则是一个潜在的RL管道，利用流匹配的可逆性和基于DCT的降维方法来限制RL优化在紧凑的噪声子空间内。
关键创新：HAF框架的关键创新在于分层动作流生成和潜在的RL优化策略，使得在不更新大型VLA骨干的情况下实现高效的策略调整，显著提升了人形机器人的运动协调性。
关键设计：HAF-VLA的设计包括阶段嵌入和跨阶段KV缓存的使用，以保持运动的动力学依赖性；HAF-Steer则通过限制优化空间来提高训练效率，采用正则化的SAC策略以增强策略的稳定性和性能。
🖼️ 关键图片
📊 实验亮点
在七个真实世界的人形运动任务中，HAF框架的表现超越了传统的单阶段VLA基线，显著提升了全身协调性和任务表现，具体提升幅度未知，展示了其在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭、服务业和工业环境中的自主操作能力。通过提升人形机器人的全身运动协调性，HAF框架能够使机器人更好地适应复杂的人类环境，执行多样化的任务，具有重要的实际价值和未来影响。
📄 摘要（原文）
Humanoid robots hold great promise as general-purpose agents in human-centered environments, yet generalist vision-language-action (VLA) foundation models are not readily applicable to humanoid whole-body loco-manipulation. The high dimensionality and interdependence of humanoid motions make it challenging for conventional single-stage VLA architectures to coordinate locomotion, waist posture, and dual-arm manipulation effectively. Moreover, policies trained through offline behavior cloning can remain suboptimal during real-world deployment. Although online reinforcement learning can refine policies through real-world interaction, directly tuning large VLA backbones demands excessive computation and may introduce safety risks during real-robot exploration. To address these bottlenecks, we introduce HAF (Humanoid Adaptation Framework), a two-part framework consisting of HAF-VLA and HAF-Steer that transfers off-the-shelf generalist VLA foundation models to humanoid whole-body loco-manipulation. HAF-VLA is a hierarchical action-flow generator built on a pretrained flow-matching VLA. It splits full-body action denoising into three sequential stages with stage embeddings and cross-stage KV caches that retain kinematic dependencies, avoiding incoherent whole-body actions from one-shot generation. On top of the frozen HAF-VLA, HAF-Steer is a latent offline-to-online RL pipeline that leverages flow-matching invertibility and DCT-based dimensionality reduction to restrict RL optimization to a compact noise subspace and train a regularized SAC policy. This avoids updating the large VLA backbone and enables efficient real-world policy refinement. Evaluated on seven real-world humanoid loco-manipulation tasks, HAF surpasses vanilla single-stage VLA baselines and improves whole-body coordination and task performance. Project website: https://grange007.github.io/HAF .