CompCPZ: Preserving Multi-Modal Intent in Language-Guided Robot Manipulation
作者: Zhen Zhang, Ahmad Hafez, Peng Xie, Yanliang Huang, Wenyuan Wu, Amr Alanwar
分类: cs.RO
发布日期: 2026-08-18
💡 一句话要点
提出CompCPZ以解决语言引导机器人操作中的多模态意图保留问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言引导 机器人操作 多模态意图 代数层 约束多项式 ManiSkill3 智能家居 服务机器人
📋 核心要点
- 现有的语言引导机器人策略在处理析取指令时存在结构性局限，无法保留所有可行模式，导致语义失败。
- CompCPZ通过构建一个代数层，恢复多模态析取表示，能够有效处理语言解析树中的约束多项式区域。
- 在ManiSkill3基准测试中，CompCPZ在1900次对比中取得1918次胜利，表现优于多种基线模型，验证了其有效性。
📝 摘要（中文）
在语言引导的机器人操作中，简单的指令可能导致语义失败，例如“将杯子放在红盘子或蓝盘子附近”可能会导致机器人选择一个几何中心，而未能满足用户的意图。为了解决这一问题，本文提出了CompCPZ，一个代数层，旨在恢复多模态的析取表示。通过在语言解析树上递归组合每个原始约束多项式区域的封闭体，CompCPZ能够在不依赖分布的情况下实现覆盖，并且具有亚毫秒的运行时间。在闭环的ManiSkill3桌面操作基准上，CompCPZ显著超越了现有的凸集基线、多峰解码器和零-shot视觉-语言-动作模型，展示了其在实际应用中的有效性。
🔬 方法详解
问题定义：本文旨在解决语言引导机器人操作中对析取指令的处理问题。现有方法在面对多模态意图时，往往会将其简化为单一的连接集，导致语义失真和执行失败。
核心思路：CompCPZ的核心思想是通过构建一个代数层，恢复多模态的析取表示。该方法通过递归组合每个原始约束多项式区域的封闭体，确保在解析树的每个节点都能保留用户的意图。
技术框架：CompCPZ的整体架构包括语言解析、约束多项式区域的构建和覆盖，采用分布无关的方式进行处理，确保在亚毫秒的时间内完成计算。主要模块包括语言解析树的构建、约束区域的生成和最终的动作选择。
关键创新：CompCPZ的主要创新在于其代数层的设计，使得语言引导学习系统能够有效恢复多模态的析取表示。这一方法与传统的单一连接集策略本质上不同，能够更好地反映用户的真实意图。
关键设计：在设计中，CompCPZ采用了递归组合的方式来生成约束多项式区域，并结合了分布无关的覆盖策略，确保了高效的计算性能和准确性。
🖼️ 关键图片
📊 实验亮点
在ManiSkill3基准测试中，CompCPZ在1900次对比中取得1918次胜利，表现出色，显著超越了现有的凸集基线、多峰解码器和零-shot视觉-语言-动作模型，验证了其在多模态意图保留方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、服务机器人和工业自动化等场景。在这些领域，机器人需要理解复杂的语言指令并执行多样化的任务，CompCPZ能够显著提升机器人的操作精度和用户体验，具有重要的实际价值和未来影响。
📄 摘要（原文）
A robot asked to "place the cup near the red plate or the blue plate" may reach the centroid between them and appear geometrically successful, while satisfying neither disjunct of the instruction. This silent semantic failure exposes a structural limitation of language-conditioned robot policies: representations that collapse a disjunctive instruction into a single connected set cannot preserve all feasible modes, and planners that commit to one action degrade under run-time mode uncertainty. We address this limitation with CompCPZ, a sound algebraic layer that language-conditioned learning systems wrap to recover multi-modal disjunctive representation, recursively composing per-primitive constrained polynomial zonotope enclosures along the language parse tree with distribution-free conformal coverage and sub-millisecond runtime. On a closed-loop ManiSkill3 tabletop-manipulation benchmark, CompCPZ outperforms convex set baselines, multi-peak decoders, and a zero-shot vision-language-action model (1,900/1,918 paired wins, p << 10^(-30)); the same compiler also transfers without retuning to planar real-robot trials on a Unitree Go2 quadruped under motion capture. These results suggest that compositional language grounding should be evaluated not only by reaching a decoded target, but by whether the represented feasibility set preserves the connected-component structure of the user's intent.