From Technical Metrics to User Perception: A User Study of a Multimodal Human-Robot Interaction System for Object Detection and Grasping
作者: Jian Song, Tian Zi, Shen Guanting
分类: cs.RO, cs.AI
发布日期: 2026-07-01
备注: 8 pages
💡 一句话要点
提出多模态人机交互系统以提升物体检测与抓取效果
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机交互 多模态融合 用户体验 物体检测 抓取任务 技术评估 用户中心设计
📋 核心要点
- 现有的人机交互系统在技术性能提升上并不一定能被用户在实际互动中察觉，存在用户感知与技术指标之间的差距。
- 本研究通过对比基线系统与改进配置，验证了技术性能提升是否能显著改善用户的感知体验，采用了多模态融合的方法。
- 实验结果显示，70.83%的参与者偏好改进系统，且在感知速度、可靠性和流畅性上均有显著提升，验证了技术改进的有效性。
📝 摘要（中文）
本研究探讨了人机交互系统的技术性能提升是否能被用户在实际互动中感知。通过对比基线系统与改进配置，发现任务成功率从75%提升至90%后，用户对系统的感知速度、可靠性及整体流畅性均有显著提升。24名参与者中，有70.83%偏好改进系统，结果表明技术改进在用户互动中是可感知的，强调了在评估机器人操作流程时结合用户中心证据的重要性。
🔬 方法详解
问题定义：本研究旨在解决人机交互系统技术性能提升与用户感知之间的关系，现有方法在用户体验上存在不足，无法有效反映技术改进的实际效果。
核心思路：通过对比基线系统与改进配置，研究技术性能提升是否能被用户在实际互动中感知，采用多模态融合技术以增强系统的感知能力。
技术框架：系统架构包括基线系统和改进配置，基线系统使用Whisper进行语音识别，Florence-2进行开放词汇物体检测，LLaMA 3.1进行动作提取，改进配置则用Grounding DINO + SAM替代感知模块，Qwen 3.5 9B替代语言模块。
关键创新：本研究的创新在于通过用户研究验证技术改进的可感知性，强调了用户中心的评估方法，区别于传统的基于技术指标的评估方式。
关键设计：在实验中，使用7点Likert量表评估用户对系统的感知，包括速度、可靠性和流畅性，确保了数据的可靠性和有效性。参与者在与每个配置互动后进行评分，结果经过Holm校正处理。
🖼️ 关键图片
📊 实验亮点
实验结果显示，24名参与者中有70.83%偏好改进系统，且在感知速度、可靠性和流畅性上均显著高于基线系统，p值均小于0.001，表明技术改进在用户互动中是显著可感知的。
🎯 应用场景
该研究的成果可广泛应用于服务机器人、工业自动化及智能家居等领域，提升人机交互的用户体验，推动机器人技术的实际应用和普及。未来，结合用户反馈的评估方法将为机器人系统的设计与优化提供重要参考。
📄 摘要（原文）
Improvements in the technical performance of human--robot interaction (HRI) systems do not automatically translate into differences that human users can detect during live interaction. This paper investigates whether a 15 percentage point gain in end-to-end task success (from 75% in a multimodal baseline system to 90% in an improved configuration identified through a prior ablation study) is sufficient to produce consistent and measurable differences in user perception. The baseline system combines Whisper for speech recognition, Florence-2 for open-vocabulary object detection, LLaMA 3.1 for action extraction, and an interval Type-2 fuzzy logic controller for motion execution. The improved configuration replaces the perception and language modules with Grounding DINO + SAM and Qwen 3.5 9B, respectively, while retaining the same controller. A within-subject user study with 24 participants compared both systems on the same tabletop object-grasping task. After interacting with each configuration, participants rated perceived speed, reliability, and overall competence and fluency on a 7-point Likert scale. Results show that 17 out of 24 participants (70.83%) preferred the improved system (exact binomial test, p = 0.043, h = 0.43), and all three perceptual constructs were rated significantly higher for the improved configuration after Holm correction, with large to very large effect sizes (p < 0.001). These findings confirm that the identified technical improvements are perceptible to users in direct interaction and underscore the importance of complementing benchmark evaluation with user-centred evidence when assessing robotic manipulation pipelines.