Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes

📄 arXiv: 2606.17043v1 📥 PDF

作者: Tongyan Fang, Siyuan Huang, Naiyu Fang, Ganlong Zhao, Zhongjin Luo, Jianbo Liu, Xiaogang Wang, Ying Dong, Hongsheng Li

分类: cs.RO, cs.LG

发布日期: 2026-06-15

备注: Website: https://acerobotics-vla.github.io/HABC-Website

💡 一句话要点

提出分层优势加权方法以解决稀疏结果下的在线强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线强化学习 行为克隆 优势加权 信用分配 机器人控制

📋 核心要点

  1. 现有方法将稀疏的二元结果简化为单一奖励，导致无法有效区分任务的可行性与效率。
  2. 本文提出分层优势加权行为克隆（HABC），通过训练独立的评论头来分别处理可行性和效率目标，并使用状态自适应门进行动态平衡。
  3. 在真实机器人实验中，HABC的成功率分别从36%、44%和12%提升至92%、88%和38%，显示出显著的性能改进。

📝 摘要（中文）

在预训练的视觉语言代理（VLA）策略通过在线强化学习进行微调时，每个回合仅产生单一的二元结果（成功或失败），而演员更新需要逐转移的监督。现有方法通常将稀疏结果简化为单一标量奖励或优势信号，这会混淆不同形式的过渡级反馈，并在基本任务成功后提供有限的指导。为了解决这些问题，本文提出了分层优势加权行为克隆（HABC），该方法为不同数据子集训练了两个独立的评论头，并通过状态自适应平衡合并其输出。实验结果表明，HABC在三项接触丰富的双手任务中，成功率显著提升至92%、88%和38%。

🔬 方法详解

问题定义：本文旨在解决在在线强化学习中，稀疏的二元结果无法有效指导策略更新的问题。现有方法通过简化奖励信号，导致无法区分任务的可行性与效率，且在干预段与自主段之间的信用分配不准确。

核心思路：提出分层优势加权行为克隆（HABC），通过为可行性和效率目标训练独立的评论头，并结合状态自适应门来动态调整两者的权重，以便在不同情况下提供更有效的指导。

技术框架：HABC的整体架构包括两个独立的评论头，分别处理可行性和效率目标。状态自适应门$g_t$用于合并这两个评论头的输出，生成每个转移的加权损失。

关键创新：HABC的主要创新在于引入状态自适应机制，能够根据任务的当前状态动态调整对可行性和效率的关注程度，从而实现更精细的策略更新。与现有方法相比，HABC能够更好地处理稀疏反馈和干预段的信用分配问题。

关键设计：在HABC中，状态自适应门的设计允许在成功不确定时优先考虑可行性，而在可行性高时转向效率。此外，干预意识的信用分配机制确保了监督信息不会在干预边界之间泄漏。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HABC方法在真实机器人实验中表现出色，成功率从监督微调基线的36%、44%和12%分别提升至92%、88%和38%。这一显著提升表明HABC在处理稀疏反馈和复杂任务中的有效性。

🎯 应用场景

该研究在机器人控制、自动化任务执行等领域具有广泛的应用潜力。通过提高在线强化学习的效率和效果，HABC方法能够帮助机器人更好地适应复杂环境中的任务，提升其自主决策能力，进而推动智能机器人技术的发展。

📄 摘要（原文）

When pretrained VLA policies are fine-tuned through online RL, each rollout episode produces only a single binary outcome (success or failure), yet the actor update requires per-transition supervision. Existing approaches commonly reduce this sparse outcome to a single scalar reward or advantage signal, which conflates distinct forms of transition-level feedback and provides limited guidance once basic task success becomes achievable. First, a single scalar signal conflates the two objectives of viability and efficiency; once basic success is achieved, the binary label provides no gradient to distinguish efficient completions from slow ones. Second, real-world rollouts mix autonomous and intervention segments; naively assigning episode outcomes across these boundaries introduces incorrect credit assignment. To address these issues, we propose Hierarchical Advantage-Weighted Behavior Cloning (HABC), which trains separate critic heads for these two objectives on different data subsets and combines their outputs with a state-adaptive balance. A state-adaptive gate $g_t$ merges their one-step advantages, prioritizing viability when success is uncertain and shifting to efficiency only when viability is high, and converts the result into per-transition weights on the actor loss. Intervention-aware credit assignment further restricts outcome labels to segments executed by the current policy, preventing supervision from leaking across intervention boundaries. In real-robot experiments on three contact-rich bimanual tasks, HABC raises success from supervised fine-tuning (SFT) baselines of 36%, 44%, and 12% to 92%, 88%, and 38%.