Hierarchical Skill Retrieval for Data-Efficient Adaptation of Vision-Language-Action Models

📄 arXiv: 2608.24042v1 📥 PDF

作者: Haoran Hao, Shahram Najam Syed, Jeff Schneider, Jeffrey Ichnowski

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-08-25

备注: Project Page: https://hoar012.github.io/HSR-Project

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出层次技能检索以解决视觉-语言-动作模型适应性不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 层次技能检索 机器人操作 数据高效适应 任务分解

📋 核心要点

  1. 现有方法在有限的任务特定演示下，无法有效适应新的机器人操作任务，导致性能下降。
  2. 本文提出的层次技能检索（HSR）框架，通过分解任务并结合语义和技能评估，实现数据高效的适应。
  3. 实验结果显示，HSR在多个基准测试中显著提高了成功率，验证了其在实际应用中的有效性。

📝 摘要（中文）

尽管在大规模机器人数据集上预训练的视觉-语言-动作（VLA）模型为机器人操作提供了坚实基础，但在有限任务特定演示的情况下，其性能可能会下降。现有的检索方法通常依赖于视觉相似性、状态-动作表示或任务级语言匹配，可能忽视了长时间操作任务的层次结构。为了解决这一挑战，本文提出了层次技能检索（HSR），该框架通过将目标任务分解为候选技能序列，并基于语义合理性和技能可靠性进行评估，结合子任务级语言检索与行为特征重排序，最终通过两阶段的预训练和微调管道适应策略。实验结果表明，HSR在LIBERO基准和多个实际机器人操作任务中，成功率分别提高了10.3%和21.3%。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在有限任务特定演示下适应性不足的问题。现有方法通常依赖于视觉相似性或任务级语言匹配，无法充分利用长时间操作任务的层次结构。

核心思路：论文提出的层次技能检索（HSR）框架，通过将目标任务分解为多个技能序列，评估每个计划的语义合理性和技能可靠性，从而实现数据高效的适应。

技术框架：HSR的整体架构包括任务分解、技能评估、混合检索和策略适应四个主要模块。首先，将目标任务分解为候选技能序列；然后，基于先前数据集评估每个技能的可靠性；接着，结合子任务级语言检索与行为特征重排序，最后通过预训练和微调管道适应策略。

关键创新：HSR的核心创新在于其层次化的技能检索方法，能够有效利用可重用的技能，而不仅仅依赖于完整任务匹配。这一方法与现有方法的本质区别在于其关注技能的层次结构而非单一的任务匹配。

关键设计：在设计中，HSR采用了多种评估标准，包括语义合理性和技能可靠性，并通过特定的损失函数来优化检索过程。此外，网络结构设计上，结合了语言模型与行为特征提取模块，以提高检索的准确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HSR在LIBERO基准测试中成功率提高了10.3%，在多个实际机器人操作任务中提高了21.3%，显著优于最强基线。这些结果验证了层次技能检索在数据高效适应中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过提高视觉-语言-动作模型的适应性，HSR能够在实际场景中更有效地执行复杂任务，降低对大量标注数据的依赖，具有重要的实际价值和未来影响。

📄 摘要（原文）

While Vision-Language-Action (VLA) models pretrained on large-scale robot datasets provide a strong foundation for robot manipulation, their performance can degrade when adapted to new tasks with limited task-specific demonstrations. Retrieval offers a practical way to reuse existing demonstrations for data-efficient adaptation, but existing methods often rely on visual similarity, state-action representations, or task-level language matching. These approaches may overlook the hierarchical structure of long-horizon manipulation tasks, where complete task matches are rare but reusable skills are often abundant. To address this challenge, we propose Hierarchical Skill Retrieval (HSR), a retrieval framework for data-efficient VLA adaptation. Specifically, HSR first decomposes a target task into candidate skill sequences. It evaluates each plan based on both semantic plausibility and skill reliability estimated from the prior dataset. The selected decomposition is then used for hybrid retrieval. This combines subtask-level language retrieval with behavior-feature reranking to identify demonstrations that are both semantically relevant and compatible with the target task. Finally, we adapt the policy through a two-stage pretraining and finetuning pipeline, which separates general skill acquisition from task-specific adaptation. Experiments on the LIBERO benchmark and several real-world robot manipulation tasks show that HSR improves the average success rate by 10.3% and 21.3% over the strongest baseline, respectively. These results demonstrate the effectiveness of structured skill-level retrieval for data-efficient VLA adaptation. Videos and code are available at https://hoar012.github.io/HSR-Project.