OAA: Three Phases of Vocal Guidance in Human-Drone Teleoperation

📄 arXiv: 2608.10651v1 📥 PDF

作者: Allan Henry, Christian Graff, Solange Rossato, José-Ernesto Gomez-Balderas, Sylvain Huet

分类: cs.RO

发布日期: 2026-08-11

期刊: Human State?Aware Robotics (H-STAR): From Multimodal Data to Human?Adaptive Behavior in HRI, Aug 2026, Kitakyushu, Japan

💡 一句话要点

提出OAA框架以优化人机无人机语音遥控交互

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 语音引导 遥控操作 人机交互 无人机 自适应控制 运动捕捉 变化点检测

📋 核心要点

  1. 现有的语音控制机器人系统未能有效处理引导者在任务进行中的交流行为变化，导致操作效率低下。
  2. 论文提出了一种OAA框架，将语音引导分为定向、接近和调整三个阶段，以适应人类引导的动态变化。
  3. 实验结果表明，该框架在不同的遥控配置中均有效，且通过统计验证显示其显著性，提升了系统的响应能力。

📝 摘要（中文）

语音引导的遥控操作需要适应人类引导动态变化的系统。然而，大多数语音控制机器人系统将口头命令视为静态流，忽略了任务进展中引导者的交流行为变化。通过对两种实验配置（人际引导和人机无人机遥控）的运动捕捉和语音数据分析，研究发现自发的语音引导可分为三个运动学和语言学上不同的阶段：定向、接近和调整。这些阶段通过对3D轨迹信号的变化点检测自动识别，并通过统计方法验证。研究讨论了OAA-aware自适应控制在语音引导遥控中的应用潜力。

🔬 方法详解

问题定义：本研究旨在解决现有语音控制系统未能适应引导者交流行为动态变化的问题，导致操作不够灵活和高效。

核心思路：论文提出OAA框架，通过识别语音引导的三个阶段（定向、接近、调整），使系统能够实时适应引导者的指令变化，从而提升遥控操作的流畅性和准确性。

技术框架：整体架构包括数据采集、阶段识别和自适应控制三个主要模块。首先，通过运动捕捉和语音数据收集引导者的行为；其次，利用变化点检测算法识别引导阶段；最后，基于识别结果调整控制策略。

关键创新：最重要的技术创新在于自动识别语音引导的三个阶段，并通过统计方法验证其有效性。这一结构的普遍性表明其为人类空间引导的内在特性，而非实验设置的产物。

关键设计：在实验中，使用了变化点检测算法来分析3D轨迹信号，并通过Kruskal-Wallis检验进行统计验证，确保了阶段识别的准确性和可靠性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，OAA框架在不同的遥控配置中均能有效识别三个阶段，且统计分析结果显著（Kruskal-Wallis, p<.001），表明该方法在提升语音引导遥控操作的灵活性和准确性方面具有重要意义。

🎯 应用场景

该研究的潜在应用领域包括无人机遥控、机器人协作和智能家居等场景。通过优化人机交互，能够提升系统的响应速度和用户体验，具有广泛的实际价值和未来影响力。

📄 摘要（原文）

Voice-guided teleoperation requires systems that adapt to the evolving dynamics of human guidance. Yet most voice-controlled robot systems treat spoken commands as a stationary stream, ignoring how the guide's communicative behavior changes as the task progresses. Using motion capture and speech data from two experimental configurations, humanhuman guidance (finger pointing, N =10 dyads) and humandrone teleoperation (gamepad control, N =29 dyads), we show that spontaneous vocal guidance consistently organizes into three kinematically and linguistically distinct phases: Orientation, Approach, and Adjustment. These phases are identified automatically via change point detection on 3D trajectory signals, and validated statistically (Kruskal-Wallis, p<.001). Three lexical families replicate across configurations: rotation vocabulary marks Orientation, translation vocabulary is scarce there, and attenuators accumulate toward Adjustment. Together with inter-utterance silence, these cues mark the Orientation boundary that speech rate alone leaves unmarked. The same three-phase structure emerges in both configurations despite radically different motor interfaces, suggesting it is an intrinsic property of human spatial guidance rather than an artifact of the experimental setup. We discuss implications for OAA-aware adaptive control in voice-guided teleoperation.