Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation

📄 arXiv: 2607.05377v1 📥 PDF

作者: Jiaqi Peng, Xiqian Yu, Delin Feng, Yuqiang Yang, Wenzhe Cai, Jing Xiong, Ganlin Yang, Jinliang Zheng, Jiafei Cao, Xueyuan Wei, Jiangmiao Pang, Yuan Shen, Tai Wang

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-07-06

备注: Project website: https://steinate.github.io/cortex.github.io/

💡 一句话要点

提出Cortex框架以解决长时间操作中的规划与执行问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间操作 双向对齐 视觉-语言-动作 任务规划 技能原语 自动标注 事件平衡采样 智能体框架

📋 核心要点

  1. 现有的视觉-语言-动作模型在处理长时间操作任务时表现不足，主要依赖当前观察，导致规划与执行之间的脱节。
  2. Cortex框架通过双向对齐的方式，将高层次的任务规划与低层次的执行相结合，标准化操作子任务并注入可操作性原则。
  3. 实验结果表明，Cortex在多个基准测试中均优于传统方法，尤其在长时间任务的零-shot完成能力上表现突出。

📝 摘要（中文）

尽管近期的视觉-语言-动作（VLA）模型在通用操作策略上展现出潜力，但由于其马尔可夫特性，难以处理长时间任务。层次化双系统方法虽有所改善，但高层规划语义与低层执行运动学之间存在差距。本文提出Cortex，一个双向对齐的具身智能体框架，具有定制的规划接口，将可执行的子任务计划从高层VLM传递到低层VLA。我们将操作子任务标准化为32个典型技能原语，并在数据生成管道中注入可操作性原则，从而实现超过4000小时的开源视频数据的自动标注和30小时的仿真数据生成。通过事件平衡采样策略，Cortex在处理子任务转换时的规划模糊性方面表现出色，实验结果显示其在Libero-long和RoboTwin上分别超越基线3.1%和4.1%。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在长时间操作任务中的规划与执行不一致问题，现有方法在高层次规划与低层次执行之间存在显著差距。

核心思路：Cortex框架通过双向对齐机制，将高层次的视觉-语言模型（VLM）与低层次的视觉-语言-动作（VLA）模型结合，确保任务规划的可执行性与可操作性。

技术框架：Cortex的整体架构包括高层次的任务规划模块、低层次的执行模块，以及一个定制的规划接口。该框架通过标准化32个技能原语来实现任务的细分，并通过事件平衡采样策略来优化训练数据。

关键创新：Cortex的主要创新在于其双向对齐机制和可操作性原则的引入，使得高层次的任务规划能够有效转化为低层次的执行策略，解决了传统方法中的语义与运动学差距。

关键设计：在数据生成过程中，Cortex采用了代表性物体属性和改进的轨迹可达性原则，确保生成的数据具有高质量和高可操作性。此外，设计了特定的损失函数和网络结构，以增强模型在子任务转换时的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Cortex在实验中表现出色，尤其是在Libero-long和RoboTwin基准测试中，分别超越了传统基线3.1%和4.1%。此外，Cortex的通用VLM使其能够在未见过的真实世界长时间任务中实现零-shot完成，展示了其强大的适应能力。

🎯 应用场景

Cortex框架在多个领域具有广泛的应用潜力，尤其是在需要长时间操作的复杂任务中，如机器人操作、自动化生产线和智能家居系统。其能够实现的零-shot任务完成能力，预示着未来在实际应用中将大幅提升智能体的自主性和灵活性。

📄 摘要（原文）

While recent Vision-Language-Action (VLA) models show promise toward generalist manipulation policies, they struggle with long-horizon tasks due to their Markovian nature-relying solely on current observations. Hierarchical dual-system methods address this but suffer from a gap between high-level planning semantics and low-level execution kinematics. We introduce Cortex, a bidirectionally aligned embodied agent framework with a customized planning interface that conveys executable and tractable subtask plans from high-level VLM to low-level VLA. Specifically, we standardize manipulation subtasks into 32 canonical skill primitives and inject tractability principles, such as representative object attributes and improved trajectory reachability, into the data generation pipeline. This enables automatic annotation of over 4k hours of open-source video data and generation of 30 hours of simulation data. We further devise an event-balanced sampling strategy to construct training data for fine-tuning the framework to better handle planning ambiguity during subtask transitions, enhanced by carefully designed harness engineering from task contexts to skill constraints during inference. Both open-loop VLM and closed-loop system evaluations demonstrate Cortex's efficacy, e.g., it outperforms monolithic baselines by 3.1% on Libero-long and 4.1% on RoboTwin. Notably, Cortex's generalist VLM enables zero-shot completion of unseen real-world long-horizon tasks, such as multi-stage chemistry experiments, by simply combining with a fine-tuned VLA-a capability infeasible through VLA fine-tuning alone.