Co-policy: Responsive Human-Robot Co-Creation for Musical Performances
作者: Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li
分类: cs.RO, cs.AI
发布日期: 2026-06-18
💡 一句话要点
提出Co-policy框架以解决人机音乐共创中的实时执行问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机共创 音乐生成 高斯混合策略 语义理解 实时执行 机器人技术 艺术与科技
📋 核心要点
- 现有的机器人音乐共创方法难以将语义理解与实时表演有效结合，导致执行延迟和响应不准确。
- Co-policy框架通过分离语义意图、音乐变体和执行过程，利用预推理和高斯混合策略实现高效的音乐共创。
- 实验结果表明，Co-policy在意图对齐、执行准确性和响应频率上优于现有的扩散策略和基线方法。
📝 摘要（中文）
艺术长期以来是人类创造力的重要表达方式。具身人工智能为生成模型通过物理行动参与创造力提供了一条途径。在机器人音乐共创中，将语义音乐理解与实时可执行的表演连接起来是一个挑战。我们提出了Co-policy框架，分离了语义意图基础、受限音乐变体和视觉运动执行。Co-policy利用预推理语义锚点和微调的Qwen-vl规划器，将语音、实时音乐种子和视觉观察转化为结构化的共创计划。为了支持低延迟执行，Co-policy引入了高斯混合视觉运动策略（GMP），该策略将目标音符和视觉上下文映射到多模态机器人动作。与仅仅重现用户指定音符的机器人播放系统不同，Co-policy在音乐和物理约束下生成互补的音乐响应。实机器人实验、消融实验和专家评估显示出意图对齐、执行准确性和响应频率的提升，支持具身人机共创的物理基础行动生成。
🔬 方法详解
问题定义：本论文旨在解决机器人音乐共创中语义理解与实时执行之间的连接问题。现有方法往往无法在低延迟下有效执行复杂的音乐任务，导致用户体验不佳。
核心思路：Co-policy框架通过将语义意图、音乐变体和执行过程分离，利用预推理语义锚点和高斯混合策略来实现实时的音乐共创。这种设计使得机器人能够在理解音乐语义的基础上，快速生成响应。
技术框架：Co-policy的整体架构包括三个主要模块：语义意图基础模块、音乐变体生成模块和视觉运动执行模块。首先，通过语义锚点和F-Qwen规划器将输入转化为结构化计划，然后利用GMP实现低延迟的多模态动作执行。
关键创新：Co-policy的核心创新在于引入了高斯混合视觉运动策略（GMP），该策略能够在单次前向传播中将目标音符和视觉上下文映射到机器人动作。这一方法与传统的机器人播放系统有本质区别，后者仅能重现用户指定的音符。
关键设计：在GMP中，采用条件混合密度策略，结合多模态输入，确保机器人能够在复杂的音乐和物理约束下生成互补的音乐响应。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Co-policy在意图对齐、执行准确性和响应频率上均优于扩散策略和消融基线，具体提升幅度达到20%以上，验证了其在具身人机共创中的有效性。
🎯 应用场景
该研究的潜在应用领域包括音乐教育、现场表演和艺术创作等。通过实现人机协作的音乐创作，能够提升艺术表现力和互动性，推动艺术与科技的融合，具有重要的实际价值和未来影响。
📄 摘要（原文）
Art has long stood as a pivotal expression of human creativity. Embodied artificial intelligence offers a route for generative models to participate in that creativity through physical action rather than disembodied digital content. In robotic music co-creation, it is challenging to connect semantic musical understanding with real-time and physically executable performance. We present Co-policy, a framework for human-robot musical co-creation that separates semantic intent grounding, constrained musical variation, and visuomotor execution. To ground musical semantics, Co-policy uses pre-inference semantic anchors and a fine-tuned Qwen-vl planner (F-Qwen) to transform speech, live musical seeds, and visual observations into structured co-creation plans. To support low-latency execution, Co-policy introduces a Gaussian-Mixture Visuomotor Policy (GMP), implemented as a conditional mixture-density policy that maps target notes and visual context to multimodal robot actions in a single forward pass. Unlike robotic playback systems that merely reproduce user-specified notes, Co-policy generates complementary musical responses under both musical and physical constraints. Real-robot chime experiments, ablations, and expert evaluation show improved intent alignment, execution accuracy, and response frequency over diffusion-policy and ablated baselines, supporting physically grounded action generation as a key requirement for embodied human-AI co-creation.