VICX: Generalizable Robot Manipulation via Video Generation and In-Context Operator Network

📄 arXiv: 2606.12028v1 📥 PDF

作者: Song Chen, Linyan Xiang, Ying Zhou, Liu Yang

分类: cs.RO

发布日期: 2026-06-10

备注: The first two authors contributed equally to this work

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出VICX框架以解决机器人操作的泛化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视频生成 上下文执行 泛化能力 闭环控制

📋 核心要点

  1. 现有的机器人操作方法在处理未见场景时，缺乏有效的任务级推理和执行的可靠性。
  2. VICX框架通过视频生成模型和V2T-ICON网络，将视觉计划转化为可执行的机器人状态轨迹，增强了执行的泛化能力。
  3. 实验结果显示，VICX在Meta-World上实现了跨任务泛化和闭环自我修正，表现出显著的执行能力提升。

📝 摘要（中文）

泛化的机器人操作不仅需要对未见场景的任务级推理，还需要将视觉计划可靠地转化为特定于实施的执行。为此，本文提出了VICX（视频生成与上下文执行），一个解耦的闭环操作框架。在VICX中，冻结的视频生成模型生成视觉-语言条件的高层视觉计划，而视频到轨迹的上下文操作网络（V2T-ICON）作为任务无关的接口，将这些计划转化为可执行的机器人状态轨迹。V2T-ICON在提取的手臂帧观察上操作，并使用检索的图像-状态对作为上下文提示，从而在推理时实现稳健且可泛化的视觉到状态映射，无需参数更新。实验结果表明，VICX支持跨任务泛化、闭环自我修正和跨实施转移，展示了任务语义和机器人执行的双重泛化。

🔬 方法详解

问题定义：本文旨在解决机器人操作中泛化能力不足的问题，现有方法在面对未见场景时，往往无法有效推理和执行任务。

核心思路：VICX框架通过将视频生成与上下文执行解耦，利用高层视觉计划和任务无关的接口，增强了机器人在不同场景下的执行能力。

技术框架：VICX框架主要包括两个模块：视频生成模型用于生成视觉计划，V2T-ICON网络用于将这些计划转化为可执行的状态轨迹。整体流程为：首先生成视觉计划，然后通过V2T-ICON进行状态映射。

关键创新：VICX的创新在于其解耦的闭环操作设计，通过视频生成与上下文执行的结合，实现了任务语义和执行的双重泛化，区别于传统方法的紧耦合设计。

关键设计：V2T-ICON使用提取的手臂帧观察，并结合检索的图像-状态对作为上下文提示，确保在推理时能够实现稳健的视觉到状态映射，且无需进行参数更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VICX在Meta-World环境中实现了跨任务泛化和闭环自我修正，支持多种机器人执行，较基线方法提升了执行成功率和适应性，展示了显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括智能制造、服务机器人和自动化物流等。通过提升机器人在复杂环境中的操作能力，VICX框架能够显著提高机器人在实际应用中的灵活性和适应性，推动机器人技术的进一步发展。

📄 摘要（原文）

Generalizable robot manipulation requires not only task-level reasoning over unseen scenes, but also reliable grounding of visual plans into embodiment-specific execution. To bridge this gap, we propose VICX (Video generation and In-Context eXecution), a decoupled closed-loop manipulation framework. In VICX, a frozen video generation model produces vision-language-conditioned high-level visual plans, while a Video-to-Trajectory In-Context Operator Network (V2T-ICON) serves as the task-agnostic interface that grounds these plans into executable robot-state trajectories. To improve execution generalization, V2T-ICON operates on segmentation-extracted arm-only frame observations and uses retrieved image-state pairs as in-context prompts, allowing a robust and generalizable visual-to-state mapping at inference time without parameter updates. Experiments on Meta-World show that VICX supports cross-task generalization, closed-loop self-correction, and cross-embodiment transfer, demonstrating dual generalization across both task semantics and robot execution. The project webpage can be found here: https://scaling-group.github.io/vicx/.