"Don't forget to put the milk back!" Dataset for Enabling Embodied Agents to Detect Anomalous Situations
作者: James F. Mullen, Prasoon Goyal, Robinson Piramuthu, Michael Johnston, Dinesh Manocha, Reza Ghanadan
分类: cs.RO, cs.CV
发布日期: 2024-04-12
期刊: IEEE Robotics and Automation Letters 9.10 (2024) 9087 - 9094
💡 一句话要点
提出SafetyDetect数据集以帮助机器人检测家庭异常情况
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 家庭机器人 异常检测 大型语言模型 场景图 安全监控 智能家居 数据集
📋 核心要点
- 现有家庭机器人缺乏有效识别危险或不卫生情况的能力，限制了其实际应用。
- 本研究提出SafetyDetect数据集，结合大型语言模型和场景图，提升机器人对异常情况的检测能力。
- 实验结果表明，该方法在SafetyDetect数据集上正确识别超过90%的异常场景，并在实际环境中表现出色。
📝 摘要（中文）
家庭机器人旨在简化用户生活。本研究通过创建SafetyDetect数据集，帮助机器人识别家庭中的危险或不卫生的异常情况，例如牛奶放置在外、炉灶未关闭或有毒物品可被儿童接触。SafetyDetect数据集包含1000个异常家庭场景，利用大型语言模型（LLMs）和场景图的对象关系进行分析。我们的方法能够正确识别超过90%的异常场景，并在ClearPath TurtleBot上进行实地实验，展示了良好的性能。该数据集和代码将在论文发表后公开。
🔬 方法详解
问题定义：本论文旨在解决家庭机器人在识别危险或不卫生情况方面的不足。现有方法通常无法有效处理复杂的家庭场景，导致潜在风险未被及时识别。
核心思路：论文的核心思路是利用SafetyDetect数据集，通过大型语言模型（LLMs）和场景图的对象关系，增强机器人对家庭异常情况的推理能力。通过将场景图与LLM结合，能够更好地理解和分类场景中的对象关系。
技术框架：整体架构包括数据集构建、场景图生成、对象关系分类和异常情况检测四个主要模块。首先，构建包含1000个异常场景的数据集；其次，生成场景图以表示对象及其关系；然后，利用LLM进行分类；最后，输出检测结果。
关键创新：最重要的技术创新在于将场景图与LLM结合，利用图结构增强了对场景的理解能力。这一方法与传统的基于视觉的检测方法相比，能够更有效地识别复杂的异常情况。
关键设计：在设计中，使用了GPT-4作为LLM，并采用了分类技术，将对象关系分为正常、危险、不卫生和对儿童危险四类。通过这种方式，模型能够在SafetyDetect数据集上实现超过90%的准确率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在SafetyDetect数据集上能够正确识别超过90%的异常场景，且在ClearPath TurtleBot上的实地测试表现出色，几乎没有性能损失。这一结果表明该方法在实际应用中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括家庭机器人、智能家居系统和安全监控。通过提高机器人对家庭环境的理解能力，能够有效减少家庭事故的发生，提升用户的生活质量。未来，该技术还可扩展至其他领域，如公共安全和环境监测。
📄 摘要（原文）
Home robots intend to make their users lives easier. Our work assists in this goal by enabling robots to inform their users of dangerous or unsanitary anomalies in their home. Some examples of these anomalies include the user leaving their milk out, forgetting to turn off the stove, or leaving poison accessible to children. To move towards enabling home robots with these abilities, we have created a new dataset, which we call SafetyDetect. The SafetyDetect dataset consists of 1000 anomalous home scenes, each of which contains unsafe or unsanitary situations for an agent to detect. Our approach utilizes large language models (LLMs) alongside both a graph representation of the scene and the relationships between the objects in the scene. Our key insight is that this connected scene graph and the object relationships it encodes enables the LLM to better reason about the scene -- especially as it relates to detecting dangerous or unsanitary situations. Our most promising approach utilizes GPT-4 and pursues a categorization technique where object relations from the scene graph are classified as normal, dangerous, unsanitary, or dangerous for children. This method is able to correctly identify over 90% of anomalous scenarios in the SafetyDetect Dataset. Additionally, we conduct real world experiments on a ClearPath TurtleBot where we generate a scene graph from visuals of the real world scene, and run our approach with no modification. This setup resulted in little performance loss. The SafetyDetect Dataset and code will be released to the public upon this papers publication.