AERMANI-PLACE: Language Guided Object Placement with Aerial Manipulators

📄 arXiv: 2606.14531v1 📥 PDF

作者: Sarthak Mishra, Ritama Sanyal, Rishabh Dev Yadav, Wei Pan, Spandan Roy

分类: cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出AERMANI-PLACE以解决无人机物体放置的交互难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 无人机操控 物体放置 自然语言处理 图像编辑 深度学习 人机交互 机器人技术

📋 核心要点

  1. 现有的物体放置系统通常要求用户以度量坐标明确指定位置，缺乏直观性，难以使用。
  2. AERMANI-PLACE框架通过自然语言指令和图像生成视觉标记，简化了物体放置过程。
  3. 在100个测试任务中，该方法在语言引导的放置任务中成功率达到87%，在实际应用中成功率为72%。

📝 摘要（中文）

物体放置是空中操控任务的基本组成部分，但现有系统通常需要用户以度量坐标明确指定放置位置，这种方式不够直观，且难以在实际应用中使用。为此，本文提出了AERMANI-PLACE框架，通过自然语言指令和场景图像引导无人机进行物体放置。该框架利用图像编辑模型生成包含视觉标记的场景版本，随后通过深度观察将该标记定位到物理环境中，最终生成并执行放置轨迹。实验结果表明，该方法在100个语言引导的放置任务中成功率达到87%，在实际空中操控中成功率为72%。

🔬 方法详解

问题定义：本文旨在解决现有空中操控系统中物体放置的交互难题，现有方法依赖用户以度量坐标指定位置，缺乏直观性和易用性。

核心思路：AERMANI-PLACE框架通过结合自然语言指令和图像信息，生成可视化标记，帮助用户更自然地进行物体放置。该设计灵感来源于人类通过语言和手势进行空间交流的方式。

技术框架：该框架主要包括三个模块：1) 图像编辑模型，用于生成包含视觉标记的场景图；2) 深度观察模块，将视觉标记定位到物理环境中；3) 放置轨迹生成模块，负责生成并执行无人机的放置轨迹。

关键创新：最重要的创新在于将自然语言指令与图像处理相结合，生成可视化标记，显著提升了用户与系统的交互体验，与传统的坐标输入方法形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以优化图像编辑效果，并通过深度传感器获取环境信息，确保标记的准确定位。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AERMANI-PLACE在100个语言引导的放置任务中成功率达到87%，在实际空中操控中成功率为72%，表现出良好的迁移能力和可靠性，显著优于传统方法。

🎯 应用场景

该研究的潜在应用领域包括无人机物流、建筑施工、灾后救援等场景，能够显著提升无人机在复杂环境中的操作效率和用户体验。未来，该框架有望推动更多基于自然语言的机器人交互技术的发展。

📄 摘要（原文）

Object placement is a fundamental component of aerial manipulation tasks, yet existing systems typically require the desired placement position to be specified explicitly in metric coordinates. Such interfaces are not intuitive and require users to reason about coordinate frames and scene geometry, making them difficult to use in practical deployments. In contrast, humans often communicate spatial goals through a combination of language and pointing gestures. Inspired by this observation, we present AERMANI-PLACE, a framework for language-guided object placement with aerial manipulators. Given a scene image and a natural language instruction, an image editing model generates a modified version of the scene containing a visual marker that indicates where the object should be placed. This marker is then grounded into the physical environment using depth observations to recover a metric place point, after which a placement trajectory is generated and executed by the aerial manipulator. We evaluate the proposed approach on a test set of 100 language-guided placement tasks and demonstrate successful execution on a real aerial manipulation platform. Experimental results show that the proposed method reliably infers placement locations from language instructions with an average success rate of 87\% on the test-set and transfers effectively to real-world aerial manipulation with an average success rate of 72\%. Video: https://youtu.be/SgwwgLBsv0g