PRACTICE: From Experience to Expertise in Self-Evolving Embodied Agents
作者: Ziyi Bai, Siqi Li, Tinglei Huang, Börje F. Karlsson
分类: cs.LG
发布日期: 2026-08-31
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PRACTICE以解决自我进化体代理的技能更新问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自我进化代理 技能学习 多模态语言模型 经验总结 在线技能编辑 动态环境适应 机器人技术
📋 核心要点
- 现有的经验基于方法依赖于手动设计的提示工作流程，难以从新的多样化经验中学习更新的技能。
- PRACTICE通过训练技能学习者从交互轨迹中维护技能库，采用两阶段课程学习基本技能生成和库维护。
- 实验结果显示，PRACTICE在EB-ALFRED和EB-Habitat上超越了最强的基于经验的基线，提供了一致的性能提升。
📝 摘要（中文）
近年来的研究表明，多模态大型语言模型（MLLMs）可以作为具身代理，将语言指令和视觉观察转化为可执行计划。然而，构建能够通过交互不断改进并快速适应环境的代理仍然具有挑战性。总结过去交互轨迹的经验提供了一种有前景的解决方案，但现有的基于经验的方法往往依赖于手动设计的提示工作流程来提取和更新技能。这些固定的程序可能难以从新的多样化经验中学习更新的技能。本文提出了PRACTICE，训练技能学习者从过去的交互轨迹中发现和维护持久的技能库，同时保持任务执行器不变。技能学习者根据历史积累的技能和新来的轨迹生成结构化的批量编辑，添加、细化、合并或删除技能，并将所有收集的编辑层次化整合为一致的更新技能库。实验表明，紧凑的技能学习者在多个冻结执行器的连续库更新轮次中提供了一致的性能提升。
🔬 方法详解
问题定义：本文旨在解决自我进化体代理在技能更新方面的挑战，现有方法往往依赖于固定的提示流程，难以适应新的经验和环境变化。
核心思路：PRACTICE的核心思路是训练一个技能学习者，从历史交互轨迹中发现和维护技能库，同时保持任务执行器不变，以便灵活应对新的经验。
技术框架：整体架构包括两个主要阶段：第一阶段，学习者从oracle轨迹中学习基本技能生成和库维护；第二阶段，通过对比成功和失败的轨迹，识别无效的行动模式和恢复策略。
关键创新：PRACTICE的主要创新在于其在线技能编辑蒸馏方法，能够根据当前的编辑分布对技能学习者进行调整，从而提高策略的效果。这与现有方法的固定技能更新流程形成鲜明对比。
关键设计：在训练过程中，采用了两阶段的课程学习，结合了成功与失败轨迹的对比分析，确保学习者能够有效识别和更新技能库中的内容。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PRACTICE在多个冻结执行器的连续库更新轮次中提供了一致的性能提升。在EB-ALFRED和EB-Habitat上，PRACTICE超越了最强的基于经验的基线，显示出显著的改进效果。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化系统和人机交互等。通过提升代理的自我进化能力，PRACTICE能够在动态环境中实现更高效的任务执行，具有重要的实际价值和未来影响。
📄 摘要（原文）
Recent studies have shown that multimodal large language models (MLLMs) can serve as embodied agents, translating language instructions and visual observations into executable plans. However, building agents that can continually improve through interaction and rapidly adapt to their environments remains challenging. Summing up experience from past interaction trajectories provides a promising solution, but existing experience-based methods often rely on manually designed prompting workflows to extract and update skills. Such fixed procedures may struggle to learn updated skills from new and diverse experiences. We introduce PRACTICE, which trains a skill learner to discover and maintain a persistent skill library from past interaction trajectories while keeping the task executor frozen. Given the historical accumulated skills and incoming trajectories, the skill learner produces structured batch-edits that add, refine, merge, or remove skills, and then hierarchical consolidate all collected edits into a consistent updated skill library. We train the learner with a two-stage curriculum. First, it learns basic skill generation and library maintenance from oracle trajectories. Then, by contrasting successful and failed trajectories from heterogeneous executors on the same tasks, it learn to identify invalid action patterns and recovery strategies. Finally, we apply online skill-edit distillation to align the skill learner with a stronger teacher on its current edit distribution to further improves the policy. Experiments demonstrate that a compact skill learner delivers consistent performance improvements across successive library-update rounds for multiple frozen executors. On EB-ALFRED and EB-Habitat, PRACTICE further outperforms the strongest experience-based baselines. Project resources are publicly available at: https://baai-agents.github.io/PRACTICE