Agentic Aerial Cinematography: From Dialogue Cues to Cinematic Trajectories

📄 arXiv: 2509.16176v1 📥 PDF

作者: Yifan Lin, Sophie Ziyu Liu, Ran Qi, George Z. Xue, Xinping Song, Chao Qin, Hugh H. -T. Liu

分类: cs.RO

发布日期: 2025-09-19

💡 一句话要点

ACDC：提出一种基于对话提示的自主无人机电影摄影系统

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无人机电影摄影 自然语言控制 大型语言模型 视觉基础模型 贝叶斯优化 运动规划 具身智能

📋 核心要点

  1. 现有无人机电影摄影流程依赖手动选择航点和视角，效率低且效果不稳定。
  2. ACDC利用大型语言模型和视觉基础模型，将自然语言提示转换为可执行的无人机轨迹。
  3. 实验表明，ACDC无需专业知识即可在各种室内场景生成高质量的电影镜头。

📝 摘要（中文）

本文提出了一种名为Agentic Aerial Cinematography: From Dialogue Cues to Cinematic Trajectories (ACDC)的自主无人机电影摄影系统，该系统由人与无人机之间的自然语言交流驱动。以往无人机电影摄影工作流程的主要限制在于，它们需要基于预定义的人工意图手动选择航点和视角，这既费力又导致性能不一致。本文提出利用大型语言模型（LLMs）和视觉基础模型（VFMs）将自由形式的自然语言提示直接转换为可执行的室内无人机视频巡览。具体而言，我们的方法包括用于初始航点选择的视觉-语言检索管道、使用美学反馈细化姿势的基于偏好的贝叶斯优化框架，以及生成安全四旋翼飞行器轨迹的运动规划器。我们通过仿真和硬件在环实验验证了ACDC，证明了它能够在各种室内场景中稳健地生成专业质量的镜头，而无需机器人或电影摄影方面的专业知识。这些结果突出了具身AI智能体在从开放词汇对话到现实世界自主空中电影摄影的闭环潜力。

🔬 方法详解

问题定义：现有的无人机电影摄影工作流程需要人工干预，手动选择航点和视角，这不仅耗时耗力，而且最终的拍摄效果很大程度上依赖于操作者的经验和技术水平，难以保证一致性和专业性。因此，如何实现无人机自主电影摄影，减少人工干预，提高拍摄效率和质量，是本文要解决的核心问题。

核心思路：本文的核心思路是利用大型语言模型（LLMs）和视觉基础模型（VFMs）的强大能力，将人类导演的自然语言指令转化为无人机可以理解和执行的运动轨迹。通过将自然语言指令与视觉信息相结合，实现无人机对场景的理解和对拍摄意图的把握，从而自主完成电影摄影任务。

技术框架：ACDC系统的整体框架主要包括三个阶段：1) 视觉-语言检索管道：用于根据自然语言提示，从场景中选择初始航点；2) 基于偏好的贝叶斯优化框架：利用美学反馈，对无人机的姿势进行优化，以获得更佳的拍摄效果；3) 运动规划器：生成安全、平滑的四旋翼飞行器轨迹，确保无人机能够安全地到达目标位置并完成拍摄任务。

关键创新：该方法最重要的创新点在于将大型语言模型和视觉基础模型应用于无人机电影摄影领域，实现了从自然语言指令到无人机运动轨迹的直接映射。这种方法摆脱了传统方法中对人工干预的依赖，使得无人机能够根据人类导演的意图自主完成拍摄任务。

关键设计：在视觉-语言检索管道中，使用了CLIP模型来计算文本和图像之间的相似度，从而选择与自然语言提示最相关的航点。在基于偏好的贝叶斯优化框架中，使用高斯过程模型来建模美学偏好，并通过主动学习的方式来选择最有价值的样本进行标注。运动规划器则采用了常见的RRT*算法，并结合无人机的动力学约束，生成安全可行的轨迹。

📊 实验亮点

通过仿真和硬件在环实验，ACDC系统在各种室内场景中均能生成专业质量的镜头，无需机器人或电影摄影方面的专业知识。实验结果表明，该系统能够有效地理解自然语言指令，并根据指令自主规划无人机的运动轨迹，实现高质量的电影摄影效果。具体的性能数据和对比基线信息在论文中未明确给出。

🎯 应用场景

该研究成果可应用于电影制作、虚拟现实内容生成、安防巡逻、室内导航等领域。通过自然语言控制无人机进行拍摄，可以降低电影制作的门槛，提高拍摄效率。在虚拟现实领域，可以快速生成高质量的场景漫游视频。在安防领域，可以实现无人机自主巡逻和监控。未来，该技术有望进一步拓展到更广泛的机器人应用场景。

📄 摘要（原文）

We present Agentic Aerial Cinematography: From Dialogue Cues to Cinematic Trajectories (ACDC), an autonomous drone cinematography system driven by natural language communication between human directors and drones. The main limitation of previous drone cinematography workflows is that they require manual selection of waypoints and view angles based on predefined human intent, which is labor-intensive and yields inconsistent performance. In this paper, we propose employing large language models (LLMs) and vision foundation models (VFMs) to convert free-form natural language prompts directly into executable indoor UAV video tours. Specifically, our method comprises a vision-language retrieval pipeline for initial waypoint selection, a preference-based Bayesian optimization framework that refines poses using aesthetic feedback, and a motion planner that generates safe quadrotor trajectories. We validate ACDC through both simulation and hardware-in-the-loop experiments, demonstrating that it robustly produces professional-quality footage across diverse indoor scenes without requiring expertise in robotics or cinematography. These results highlight the potential of embodied AI agents to close the loop from open-vocabulary dialogue to real-world autonomous aerial cinematography.