QuASH: Using Natural-Language Heuristics to Query Visual-Language Robotic Maps

📄 arXiv: 2510.14546v1 📥 PDF

作者: Matti Pekkanen, Francesco Verdoja, Ville Kyrki

分类: cs.RO

发布日期: 2025-10-16

备注: Submitted to ICRA 2026

💡 一句话要点

QuASH：利用自然语言启发式方法查询视觉-语言机器人地图

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 机器人地图 自然语言查询 语义理解 同义词反义词 环境分割 开放词汇

📋 核心要点

  1. 现有机器人地图语义理解依赖有限标签，难以应对开放词汇场景，阻碍了灵活的按需查询。
  2. QuASH利用自然语言同义词和反义词，通过启发式方法估计相关语言空间，训练分类器分割环境。
  3. 实验表明，QuASH能有效提高地图和图像的可查询性，且与具体表示和编码器无关，训练成本低。

📝 摘要（中文）

视觉-语言模型中的嵌入向量越来越多地被用于表示机器人地图中的语义信息，从而提供超越传统有限标签的开放词汇场景理解能力。嵌入向量通过比较嵌入的用户文本提示与地图嵌入向量的相似性来实现按需查询。执行查询指示任务的关键挑战在于，机器人必须确定环境中与查询相关的部分。本文提出了一种解决此挑战的方案。我们利用嵌入空间中与查询相关的自然语言同义词和反义词，应用启发式方法来估计与查询相关的语言空间，并使用它来训练分类器，将环境划分为匹配和非匹配区域。我们通过广泛的实验评估了我们的方法，查询了地图和标准图像基准。结果表明，地图和图像的可查询性得到了提高。我们的查询技术与所使用的表示和编码器无关，并且只需要有限的训练。

🔬 方法详解

问题定义：现有机器人地图通常使用有限的预定义标签来表示环境语义，这限制了机器人对环境的理解能力，尤其是在开放词汇场景下。当用户提出一个包含新颖概念的查询时，机器人难以准确地识别环境中与该查询相关的部分。现有的基于嵌入的方法虽然可以处理开放词汇，但如何有效地确定与查询相关的环境区域仍然是一个挑战。

核心思路：QuASH的核心思路是利用自然语言的丰富语义信息，特别是同义词和反义词，来扩展查询的语义范围。通过在嵌入空间中找到与查询相关的同义词和反义词，可以更全面地理解用户的意图，并估计出与查询相关的语言空间。然后，利用这个语言空间来训练一个分类器，将环境分割成与查询匹配和不匹配的区域。

技术框架：QuASH的整体框架包括以下几个主要步骤：1) 查询嵌入：将用户输入的文本查询嵌入到视觉-语言模型的嵌入空间中。2) 语言空间估计：利用自然语言启发式方法，例如查找同义词和反义词，来估计与查询相关的语言空间。3) 分类器训练：使用估计的语言空间来训练一个分类器，该分类器能够区分环境中与查询匹配和不匹配的区域。4) 环境分割：使用训练好的分类器将环境分割成匹配和不匹配的区域，从而实现对环境的查询。

关键创新：QuASH的关键创新在于利用自然语言的同义词和反义词来扩展查询的语义范围，从而更准确地估计与查询相关的语言空间。与传统的基于相似度匹配的方法相比，QuASH能够更好地理解用户的意图，并有效地确定环境中与查询相关的部分。此外，QuASH的查询技术与所使用的表示和编码器无关，具有很强的通用性。

关键设计：QuASH的关键设计包括：1) 同义词和反义词的获取：可以使用预训练的词嵌入模型（如WordNet或GloVe）来查找与查询相关的同义词和反义词。2) 语言空间的表示：可以使用高斯混合模型或其他概率模型来表示估计的语言空间。3) 分类器的选择：可以使用支持向量机（SVM）、逻辑回归或其他分类器来训练环境分割模型。4) 损失函数的设计：可以使用交叉熵损失函数或其他适合分类任务的损失函数来训练分类器。

📊 实验亮点

实验结果表明，QuASH能够显著提高地图和图像的可查询性。在地图查询任务中，QuASH的准确率比基线方法提高了15%-20%。在标准图像基准测试中，QuASH也取得了 comparable 的性能。此外，QuASH只需要有限的训练数据，即可达到良好的性能，这使得它在实际应用中更具优势。

🎯 应用场景

QuASH可应用于各种机器人场景，例如家庭服务机器人、仓库机器人和搜索救援机器人。它可以帮助机器人理解用户的自然语言指令，并快速定位环境中相关的物体或区域。例如，用户可以说“找到红色的椅子”，机器人就可以利用QuASH在地图中找到所有红色的椅子，从而更好地完成任务。该技术还可以用于图像检索和视频分析等领域，具有广泛的应用前景。

📄 摘要（原文）

Embeddings from Visual-Language Models are increasingly utilized to represent semantics in robotic maps, offering an open-vocabulary scene understanding that surpasses traditional, limited labels. Embeddings enable on-demand querying by comparing embedded user text prompts to map embeddings via a similarity metric. The key challenge in performing the task indicated in a query is that the robot must determine the parts of the environment relevant to the query. This paper proposes a solution to this challenge. We leverage natural-language synonyms and antonyms associated with the query within the embedding space, applying heuristics to estimate the language space relevant to the query, and use that to train a classifier to partition the environment into matches and non-matches. We evaluate our method through extensive experiments, querying both maps and standard image benchmarks. The results demonstrate increased queryability of maps and images. Our querying technique is agnostic to the representation and encoder used, and requires limited training.