Learning-To-Rank Approach for Identifying Everyday Objects Using a Physical-World Search Engine

📄 arXiv: 2312.15844v1 📥 PDF

作者: Kanta Kaneda, Shunya Nagashima, Ryosuke Korekata, Motonari Kambara, Komei Sugiura

分类: cs.RO, cs.CL, cs.CV

发布日期: 2023-12-26

备注: Accepted for RAL 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出MultiRankIt，解决人机协作场景下基于自然语言指令的物体检索排序问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 物体检索 人机协作 自然语言理解 跨模态学习 机器人 学习排序 家庭服务机器人

📋 核心要点

  1. 现有方法难以有效处理人机协作场景下，机器人根据复杂自然语言指令进行物体检索排序的任务。
  2. MultiRankIt通过跨模态编码器建模指令中的指代表达式与目标边界框，以及目标对象与周围环境图像的关系。
  3. 实验结果表明，MultiRankIt在物体检索的平均倒数排名和Recall@k方面优于基线方法，并在真实机器人实验中达到80%的成功率。

📝 摘要（中文）

本文提出了一种名为MultiRankIt的新方法，用于解决学习排序物理对象（LTRPO）任务，该任务旨在人机协作环境中，根据开放词汇的用户指令检索目标对象。MultiRankIt引入了跨模态名词短语编码器，用于建模包含指代表达式的短语与目标边界框之间的关系；以及跨模态区域特征编码器，用于建模目标对象与其周围环境的多张图像之间的关系。此外，我们构建了一个新的LTRPO任务数据集，其中包含带有复杂指代表达式的指令以及具有各种目标对象的真实室内环境图像。在数据集上验证了我们的模型，结果表明，在平均倒数排名和Recall@k方面，该模型优于基线方法。我们还在标准化家庭环境中进行了物理实验，其中家用服务机器人根据用户指令在人机协作环境中检索日常物品，实验结果表明，物体检索的成功率达到了80%。

🔬 方法详解

问题定义：论文旨在解决人机协作场景下，机器人如何根据用户提供的自然语言指令，从环境中准确检索并排序目标物体的问题。现有方法在处理复杂指代表达式和理解物体上下文环境方面存在不足，导致检索精度不高。

核心思路：论文的核心思路是利用跨模态学习，将自然语言指令中的指代表达式与视觉信息（目标物体的边界框和周围环境图像）进行有效融合，从而提高物体检索的准确性。通过学习排序的方法，对候选物体进行排序，方便用户或操作员快速选择目标物体。

技术框架：MultiRankIt的整体框架包含以下几个主要模块：1) 文本编码器：用于编码自然语言指令；2) 跨模态名词短语编码器：用于建模指令中包含指代表达式的名词短语与目标边界框之间的关系；3) 跨模态区域特征编码器：用于建模目标对象与其周围环境的多张图像之间的关系；4) 排序模块：根据编码后的特征，对候选物体进行排序。

关键创新：MultiRankIt的关键创新在于提出了跨模态名词短语编码器和跨模态区域特征编码器。前者能够更精确地捕捉指令中指代表达式与目标物体之间的对应关系，后者能够利用物体周围的上下文环境信息来辅助物体识别。

关键设计：跨模态名词短语编码器可能采用了注意力机制，以突出指令中与目标物体相关的关键词。跨模态区域特征编码器可能使用了卷积神经网络（CNN）来提取环境图像的特征，并使用注意力机制来关注与目标物体相关的区域。损失函数可能采用了排序损失，例如pairwise ranking loss或listwise ranking loss，以优化排序结果。

📊 实验亮点

MultiRankIt在提出的LTRPO数据集上进行了验证，实验结果表明，该模型在平均倒数排名（MRR）和Recall@k等指标上优于基线方法。此外，在真实的机器人实验中，MultiRankIt成功地将物体检索的成功率提高到了80%，验证了其在实际应用中的有效性。

🎯 应用场景

该研究成果可应用于家庭服务机器人、智能助手、工业自动化等领域。通过结合自然语言理解和视觉感知，机器人能够更好地理解人类指令，完成诸如物体检索、物品整理等任务，提高人机协作效率，并为老年人、残疾人等提供更便捷的生活服务。

📄 摘要（原文）

Domestic service robots offer a solution to the increasing demand for daily care and support. A human-in-the-loop approach that combines automation and operator intervention is considered to be a realistic approach to their use in society. Therefore, we focus on the task of retrieving target objects from open-vocabulary user instructions in a human-in-the-loop setting, which we define as the learning-to-rank physical objects (LTRPO) task. For example, given the instruction "Please go to the dining room which has a round table. Pick up the bottle on it," the model is required to output a ranked list of target objects that the operator/user can select. In this paper, we propose MultiRankIt, which is a novel approach for the LTRPO task. MultiRankIt introduces the Crossmodal Noun Phrase Encoder to model the relationship between phrases that contain referring expressions and the target bounding box, and the Crossmodal Region Feature Encoder to model the relationship between the target object and multiple images of its surrounding contextual environment. Additionally, we built a new dataset for the LTRPO task that consists of instructions with complex referring expressions accompanied by real indoor environmental images that feature various target objects. We validated our model on the dataset and it outperformed the baseline method in terms of the mean reciprocal rank and recall@k. Furthermore, we conducted physical experiments in a setting where a domestic service robot retrieved everyday objects in a standardized domestic environment, based on users' instruction in a human--in--the--loop setting. The experimental results demonstrate that the success rate for object retrieval achieved 80%. Our code is available at https://github.com/keio-smilab23/MultiRankIt.