Learning to Understand Body Language from Flight through Robust 3D Avatar Placing
作者: Dragos Costea, Alina Marcu, Cristina Lazar, Marius Leordeanu
分类: cs.CV
发布日期: 2026-07-30
💡 一句话要点
提出Drones2BodyLanguage数据集以解决无人机社交智能问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 社交智能无人机 人类意图理解 虚拟人偶 几何世界模型 单目深度流 数据集构建 运动识别
📋 核心要点
- 现有方法在长距离感知人类运动和意图方面存在数据不足的问题，限制了社交智能无人机的发展。
- 本文提出了一种新颖的数据集和方法，通过在真实无人机视频中放置虚拟人偶来学习人类的沟通意图。
- 实验结果显示，基于放置数据的训练在意图准确性上有显著提升，尤其是在真实场景中表现优异。
📝 摘要（中文）
感知人类运动和意图是实现社交智能无人机的前提，但相关数据稀缺。本文提出Drones2BodyLanguage数据集，将十种沟通意图的虚拟人偶放置于未经修改的4K无人机场景中，确保位置、比例和方向的准确性。通过轻量级几何世界模型和单目深度流，预测放置点并进行重渲染。实验表明，在不同架构上，基于放置数据的训练显著提升了真实、重定向和生成运动的意图准确性，且在两个真实场景中得到了验证。
🔬 方法详解
问题定义：本文旨在解决社交智能无人机在长距离感知人类运动和意图时缺乏数据的问题。现有方法在真实场景中难以获得足够的标注数据，限制了模型的学习能力。
核心思路：论文提出Drones2BodyLanguage数据集，通过在真实无人机拍摄的场景中放置虚拟人偶，来模拟人类的沟通意图。这种方法利用几何世界模型和单目深度流技术，确保人偶的放置具有准确的空间关系。
技术框架：整体架构包括数据采集、虚拟人偶放置和模型训练三个主要阶段。首先，通过无人机拍摄获取真实场景数据；其次，利用几何模型预测人偶的放置点；最后，基于放置数据进行模型训练。
关键创新：最重要的创新在于提出了一种轻量级的几何世界模型，能够通过单目深度流实现3D人偶的准确放置，并且采用了刚性不变权重的仿射锚组合来提高放置精度。
关键设计：在模型训练中，采用了多种网络架构进行实验，损失函数设计上考虑了意图准确性和空间一致性，确保模型在不同场景下的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于放置数据的训练在意图准确性上提升显著，尤其是在真实场景中，模型的意图准确率提高了大幅度，验证了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括社交智能无人机、无人机监控、救援任务等。通过提升无人机对人类意图的理解能力，可以使其在复杂环境中更好地与人类互动，提升任务执行的效率和安全性。未来，该技术有望推动无人机在更多社会应用中的普及。
📄 摘要（原文）
Perceiving human motion and intent at long range is a prerequisite for socially intelligent aerial robots, yet the data to learn it barely exists. We introduce Drones2BodyLanguage, a dataset grounding human motion in real UAV footage: avatars manifesting ten communicative intents are placed into unmodified 4K drone scenes with metrically correct position, scale and orientation, maintained over hundreds of frames of camera motion. Enabling it is a lightweight geometric world model of the local scene - semantically selected anchors lifted to 3D through streaming monocular depth - in which a placement point is predicted as an affine anchor combination with provably rigid-invariant weights, and re-rendered under an SVD-fitted ground rotation. Across twelve architectures on scene- and motion-disjoint splits, training on placed data lifts mean intent accuracy by a wide margin for real, retargeted and generated motion alike, with gains confirmed on two in-the-wild scenes.