Towards Unified Interactive Visual Grounding in The Wild

📄 arXiv: 2401.16699v2 📥 PDF

作者: Jie Xu, Hanbo Zhang, Qingyi Si, Yifeng Li, Xuguang Lan, Tao Kong

分类: cs.RO

发布日期: 2024-01-30 (更新: 2024-02-18)

备注: Accepted to ICRA 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出TiO系统以解决人机交互中的视觉定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 视觉定位 自然语言处理 主动信息收集 深度学习

📋 核心要点

  1. 现有方法依赖于预定义模板进行消歧问询，导致在真实场景中的性能下降，难以应对自然语言的模糊性。
  2. 本文提出的TiO系统通过统一的视觉对话和定位框架，能够在大规模公共数据上进行联合训练，提升了系统的泛化能力。
  3. 实验结果显示，TiO在多个基准测试中表现优异，尤其在复杂场景下的成功率显著高于现有方法。

📝 摘要（中文）

人机交互中的互动视觉定位因自然语言的模糊性而面临挑战，要求机器人通过主动信息收集来消歧义。以往方法依赖于预定义模板进行消歧问询，导致在实际交互场景中的性能下降。本文提出了TiO，一个端到端的系统，旨在实现人机交互中的互动视觉定位。通过统一的视觉对话和定位的框架，我们的方法能够在大量公共数据上进行联合训练，并在多样化和具有挑战性的开放世界场景中展现出优越的泛化能力。实验结果表明，TiO在GuessWhat？！和InViG基准测试中设定了新的最先进性能，并在150个具有挑战性的场景及真实机器人平台上进行了人机交互实验，显示出对多样化视觉和语言输入的高成功率。

🔬 方法详解

问题定义：本文旨在解决人机交互中视觉定位的模糊性问题。现有方法通常依赖于固定模板进行消歧，难以适应多变的自然语言输入，导致性能下降。

核心思路：TiO系统通过将视觉对话与视觉定位统一建模，采用端到端的训练方式，能够有效地从用户输入中主动收集信息，提升消歧能力。

技术框架：TiO的整体架构包括数据预处理、模型训练和推理三个主要模块。首先，系统通过大量公共数据进行联合训练；其次，模型在推理阶段能够实时处理用户输入并生成相应的消歧问询。

关键创新：TiO的核心创新在于其统一的视觉对话与定位框架，区别于传统方法的模板依赖，使得系统在开放世界场景中具备更强的适应性和泛化能力。

关键设计：在技术细节上，TiO采用了特定的损失函数以优化消歧效果，并设计了适应多模态输入的网络结构，确保在多样化场景下的高效表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，TiO在GuessWhat？！和InViG基准测试中设定了新的最先进性能，明显优于现有方法，尤其在150个复杂场景的真实机器人实验中，成功率显著提升，展示了其强大的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服务机器人和教育机器人等场景，能够提升机器人在复杂环境中的交互能力和用户体验。未来，TiO系统有望在更广泛的实际应用中发挥重要作用，推动人机交互技术的发展。

📄 摘要（原文）

Interactive visual grounding in Human-Robot Interaction (HRI) is challenging yet practical due to the inevitable ambiguity in natural languages. It requires robots to disambiguate the user input by active information gathering. Previous approaches often rely on predefined templates to ask disambiguation questions, resulting in performance reduction in realistic interactive scenarios. In this paper, we propose TiO, an end-to-end system for interactive visual grounding in human-robot interaction. Benefiting from a unified formulation of visual dialogue and grounding, our method can be trained on a joint of extensive public data, and show superior generality to diversified and challenging open-world scenarios. In the experiments, we validate TiO on GuessWhat?! and InViG benchmarks, setting new state-of-the-art performance by a clear margin. Moreover, we conduct HRI experiments on the carefully selected 150 challenging scenes as well as real-robot platforms. Results show that our method demonstrates superior generality to diversified visual and language inputs with a high success rate. Codes and demos are available at https://github.com/jxu124/TiO.