MazzikaAI: A knowledge-based performance-to-prompt compiler for real-time Arabic maqam accompaniment with a streaming text-to-music model
作者: Jiaxin Du, Boulbaba Abdeljaouad, Yong Zhuang, Haoyu Li
分类: cs.HC, cs.AI, eess.AS
发布日期: 2026-08-11
💡 一句话要点
提出MazzikaAI以解决阿拉伯maqam音乐伴奏的实时生成问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 阿拉伯maqam 实时伴奏 生成音乐 知识驱动 动态提示编译 人机协作 文化包容
📋 核心要点
- 现有生成音乐模型主要基于西方音乐理论，无法有效处理阿拉伯maqam音乐的微音阶和复杂结构。
- MazzikaAI通过自然语言驱动实时控制环，动态编译MIDI和和声信息，实时生成符合阿拉伯maqam音乐特征的伴奏。
- 实验结果显示，MazzikaAI在生成的音乐中显著增加了四分音符内容，相较于基线生成有明显提升。
📝 摘要（中文）
阿拉伯maqam音乐以微音阶和装饰性呼应为特征，传统生成音乐模型对此支持不足。MazzikaAI是一个基于知识的系统，通过自然语言作为实时控制环的驱动，编译实时MIDI、手势和推断和声为持续更新的文本提示，控制未修改的生成器Google Lyria RealTime。该系统嵌入了六种核心maqamat的专家知识，确保在亚秒级延迟下保持实时响应。实证评估表明，动态提示编译显著提高了生成内容的微音阶表现，展示了如何有效连接非西方音乐传统与未微调的基础模型。
🔬 方法详解
问题定义：本论文旨在解决现有生成音乐模型在实时伴奏中对阿拉伯maqam音乐微音阶和结构的支持不足，尤其是在动态适应和实时响应方面的挑战。
核心思路：MazzikaAI的核心思路是利用自然语言作为实时控制的驱动，通过编译实时输入的信息来动态生成符合阿拉伯音乐特征的伴奏，而无需对生成模型进行微调。
技术框架：MazzikaAI的整体架构包括三个主要模块：实时MIDI输入、手势识别和和声推断。系统将这些信息编译成文本提示，驱动Google Lyria RealTime生成音乐。
关键创新：MazzikaAI的主要创新在于其知识驱动的动态提示编译机制，能够有效地将专家知识与未微调的生成模型结合，填补了非西方音乐传统与现代生成技术之间的鸿沟。
关键设计：系统设计中采用了亚秒级的延迟响应机制，确保实时性；同时，嵌入了六种核心maqamat的专家知识，以保证生成音乐的文化和结构准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MazzikaAI在生成的音乐中显著提高了四分音符内容，相较于基线生成，微音阶表现提升了明显的百分比，验证了其在实时生成中的有效性和创新性。
🎯 应用场景
MazzikaAI的潜在应用场景包括实时音乐伴奏、互动音乐教育和文化包容的生成音频。该系统为音乐创作提供了新的工具，促进了人机协作，能够帮助音乐家在不同文化背景下进行创作与表演。
📄 摘要（原文）
Arabic maqam music microtonal, modal, and built on ornamented call and response is among the traditions most underserved by generative music models, whose training frameworks remain predominantly Western and equaltempered. Real time accompaniment sharpens this gap: an AI partner must listen, adapt dynamically, and respect idiomatic microtonal structures. Streaming text to music models provide strong generative capabilities but lack precise control interfaces. We present MazzikaAI, a knowledge based system that uses natural language as the actuator of a realtime control loop. By compiling live MIDI, gesture, and inferred harmony into continuously updated text prompts, MazzikaAI steers an unmodified streaming generator, Google Lyria RealTime, without requiring model finetuning. The system embeds expert knowledge of six core maqamat, characteristic ornaments, and ensemble dynamics, maintaining realtime responsiveness with subsecond keytoaudibleupdate latency. Empirical evaluations demonstrate that dynamic prompt compilation reliably grounds generation in microtonal scales, significantly increasing offgrid quartertone content over baseline generation. Beyond its core implementation, MazzikaAI illustrates how deterministic knowledgebased rules can effectively bridge expert, nonWestern musical traditions and unfinetuned foundation models. This architecture establishes a scalable paradigm for realtime humanAI cocreation, offering a generalizable blueprint for interactive accompaniment, adaptive music education, and culturally inclusive generative audio across diverse global idioms.