VISTA: Active Exploration for Self-Improvement in Embodied Agents
作者: Zhang Zhang, Shengjun Zhang, Simin Huang, Min Chen, Chong Xia, Xin Fei, Yueqi Duan
分类: cs.RO
发布日期: 2026-10-26
备注: code: https://github.com/AgenticEI/VISTA, project page: https://agenticei.github.io/VISTA-page/
💡 一句话要点
提出VISTA框架以解决自我改进的主动探索问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能 主动探索 自我改进 工具图 元代理 动态环境 任务成功率 回放效率
📋 核心要点
- 现有方法将回放视为静态日志，缺乏自主测试和改进的能力，导致工具更新效率低下。
- VISTA框架通过维护工具图，将后期反思转化为主动自我探索，从而实现工具的持续改进。
- 实验结果显示，VISTA在多个基准测试中提高了任务成功率，并且在回放效率上优于传统方法。
📝 摘要（中文）
代理体智能在开放式动态物理环境中发挥着基础性作用。近期研究表明，具身系统不仅依赖于预训练的基础模型，还需要有效的探索机制。现有方法通常将回放视为静态日志，缺乏通过后续交互进行自主测试和改进的能力。为了解决这一挑战，本文提出了VISTA，一个将后期回放反思转化为主动自我探索的元代理框架。VISTA维护一个记录提议的工具的谱系的工具图，使元代理能够检索先前的假设，构建有效机制，并避免重复探索失败的方向。实验结果表明，VISTA在LIBERO-Pro、RoboCasa和RoboTwin基准上逐步提高任务成功率，并且比静态反思更高效，成功率更高且所需的模拟器回放更少。
🔬 方法详解
问题定义：本文旨在解决具身智能代理在动态环境中自我改进的挑战。现有方法通常将回放视为静态日志，缺乏通过后续交互进行自主测试和改进的能力，导致工具更新效率低下。
核心思路：VISTA框架的核心思路是将后期回放反思转化为主动自我探索。通过维护工具图，元代理能够检索先前的假设并在有效机制上进行构建，从而避免重复探索失败的方向。
技术框架：VISTA的整体架构包括工具图的维护、历史轨迹的执行证据记录和自主生成新回放的模块。每次迭代从保留的工具版本和其执行证据开始，元代理在环境中主动探索并生成新的回放。
关键创新：VISTA的主要创新在于将静态反思转变为动态探索，使得工具的改进过程更加高效和自主。这种方法与传统的后期反思方法本质上不同，后者通常依赖于静态日志。
关键设计：在设计上，VISTA使用了工具图来记录提议的工具谱系，并通过执行证据来指导后续的探索和改进。具体的参数设置和损失函数等技术细节在实验中进行了优化，以确保高效的学习和改进过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VISTA在LIBERO-Pro、RoboCasa和RoboTwin基准测试中逐步提高了任务成功率，且在回放效率上优于静态反思方法，成功率提高幅度显著，所需的模拟器回放数量减少。
🎯 应用场景
该研究的潜在应用领域包括机器人自主学习、智能家居系统和复杂环境中的自动化任务执行。通过提高具身智能代理的自我改进能力，VISTA可以在动态环境中实现更高效的任务执行，具有重要的实际价值和未来影响。
📄 摘要（原文）
Agentic embodied intelligence plays a foundational role in open-ended, dynamic physical environments. Rather than treating policy learning as an end-to-end mapping from instructions to actions, recent studies reveal that embodied systems depend not only on pre-trained foundation models, but also on harness. Prior approaches largely treat rollouts as static logs for post-hoc reflection, producing harness updates without autonomously testing and refining them through subsequent embodied interaction. To address this challenge, we propose VISTA, a meta-agent framework that transforms post-hoc rollout reflection into active self-exploration for embodied harness improvement. Specifically, VISTA maintains a harness graph that records the lineage of proposed harnesses, which enables the meta-agent to retrieve prior hypotheses, build on effective mechanisms, and avoid repeatedly exploring failed directions. Each iteration begins from a retained harness version and its execution evidence. Rather than directly committing an update from these historical trajectories, the meta-agent actively explores in the environment. It autonomously generates new rollouts, probes execution failures and recovery behaviors, and iteratively modifies the harness based on the resulting evidence. The refined harness is then evaluated afresh and added to the harness graph. We evaluate VISTA on the LIBERO-Pro, RoboCasa, and RoboTwin benchmarks. Experimental results demonstrate that VISTA progressively improves task success and is more rollout-efficient than static reflection, achieving higher success rates with fewer simulator rollouts.