Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy
作者: Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang
分类: cs.RO, cs.AI
发布日期: 2026-06-25
💡 一句话要点
提出OmniAct框架以解决机器人自主性与工具整合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能体 多模态规划 层次记忆 故障检测 自主性提升 机器人技术 智能家居 工业自动化
📋 核心要点
- 现有方法将网络和物理工具的协调视为独立问题，导致规划和执行的效率低下。
- 论文提出OmniAct框架，通过多模态语义规划、层次记忆和异步执行来实现统一的行动空间和故障检测。
- 在40个真实世界的长时间任务中，OmniAct在所有复杂度级别上均实现了成功率的显著提升。
📝 摘要（中文）
构建持久的具身智能体在非结构化环境中需要统一协调跨越网络和物理领域的异构工具，并能够自主恢复在长期操作中不可避免的物理故障。现有系统将这些问题视为独立的挑战，导致规划缺乏统一的行动空间，框架上下文无限积累，政策执行无法检测自身故障。本文提出OmniAct框架，集成多模态语义规划器、适应性层次记忆和异步视觉预防引擎，显著提升了机器人在复杂任务中的自主性和效率。
🔬 方法详解
问题定义：本文旨在解决持久具身智能体在非结构化环境中面临的工具协调和故障恢复问题。现有方法往往将这些问题孤立处理，导致效率低下和上下文管理不当。
核心思路：论文提出的OmniAct框架通过层次化的异步架构，明确区分规划、记忆和验证模块，以实现更高效的自主性和故障检测能力。
技术框架：OmniAct框架包含三个主要模块：多模态语义规划器用于技能路由，适应性层次记忆用于上下文压缩，以及异步视觉预防引擎用于在物理执行过程中闭合语义循环。
关键创新：OmniAct的创新在于其层次化的设计，使得不同模块之间能够高效协作，克服了现有方法在上下文管理和故障检测上的不足。
关键设计：框架中采用事件边界驱动的压缩机制以实现子线性上下文增长，且在执行过程中保持接近平坦的令牌消耗，确保了高效的资源利用。
📊 实验亮点
在40个真实世界的长时间任务中，OmniAct框架在所有复杂度级别上实现了端到端成功率的持续提升，且在100k+的交互令牌中保持接近平坦的消耗，显示出其在资源管理上的优势。
🎯 应用场景
该研究的潜在应用领域包括智能家居、服务机器人和工业自动化等。通过提升机器人在复杂环境中的自主性，OmniAct框架能够显著提高任务执行的效率和可靠性，推动智能体在实际应用中的广泛部署。
📄 摘要（原文）
Building persistent embodied agents in unstructured environments demands unified orchestration of heterogeneous tools spanning both cyber (APIs, IoT) and physical (manipulation, navigation) domains, coupled with autonomous recovery from physical failures that inevitably arise over extended operation. Existing systems treat these as separate problems: VLM-based planners lack a unified cyber-physical action space, agent frameworks accumulate unbounded context that degrades temporal coherence, and VLA policies execute open-loop without detecting their own failures. We argue that persistent autonomy requires not a monolithic model but a hierarchical asynchronous architecture with explicit separation of planning, memory, and verification. To this end, we present OmniAct, a framework integrating a multimodal semantic planner for skill routing across unified action spaces, an adaptive hierarchical memory with event-boundary-driven compression for sub-linear context growth, and an asynchronous visual preemption engine that closes the semantic loop during physical execution. Across 40 real-world long-horizon tasks on two robotic platforms coordinating four IoT devices, OmniAct achieves consistent improvements in end-to-end success across all complexity levels, maintains near-flat token consumption over under 100k+ accumulated interaction tokens, and elevates mid-scale open-weight models to proprietary-level performance.