ROBOSHACKLES: A Safety Dataset for Human-Injury Prevention in Embodied Foundation Models
作者: Zhuowen Yin, Chongyang Liu, Wenzhang Yang, Renjue Li, Yinxing Xue
分类: cs.RO
发布日期: 2026-06-17
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出ROBOSHACKLES以解决人类伤害预防问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人类伤害预防 具身基础模型 安全对齐 数据构建 机器人安全 多模态理解 视频数据集
📋 核心要点
- 现有方法在机器人安全对齐方面存在不足，无法有效预防人类伤害。
- 本文提出了一种安全关键数据构建管道，通过真实观察数据生成用于人类伤害预防的机器人视频数据集。
- 实验结果表明，所有评估的模型在安全关键场景中均产生不安全动作，显示出当前模型的安全性不足。
📝 摘要（中文）
具身基础模型（EFMs）集成了多模态理解、未来状态推理和可执行的机器人动作。然而，针对人类伤害预防的安全对齐仍未得到充分探索，主要原因在于无法安全或伦理地收集机器人伤害人类或造成危险家庭情况的真实数据。为了解决这一挑战，本文提出了一种安全关键数据构建管道，旨在为EFMs中的人类伤害预防提供支持。通过真实的DROID观察数据，构建管道经过场景理解、危险意识图像编辑、时间提示生成和单次回放合成等步骤，最终构建了包含10,000个机器人视频片段的ROBOSHACKLES数据集，涵盖两类直接伤害和四类间接伤害。实验结果显示，所有评估的模型在测试的安全关键场景中均产生了不安全的动作，生成不安全动作的比例达到100%。
🔬 方法详解
问题定义：本文旨在解决具身基础模型（EFMs）在实际应用中对人类伤害的预防问题。现有方法缺乏有效的真实数据支持，无法安全或伦理地收集机器人伤害人类的案例，导致安全对齐不足。
核心思路：论文提出了一种安全关键数据构建管道，利用真实的DROID观察数据，通过多步骤处理生成用于训练和评估的机器人视频数据集，以提高EFMs的安全性。
技术框架：整体架构包括四个主要模块：场景理解、危险意识图像编辑、时间提示生成和单次回放合成。首先进行场景理解，然后编辑图像以突出危险，接着生成时间提示，最后合成机器人动作视频。
关键创新：最重要的创新在于构建了ROBOSHACKLES数据集，包含10,000个视频片段，涵盖多种伤害类型，并通过自动化指标评估数据集质量，提供了一个可扩展的基准和训练资源。
关键设计：在数据构建过程中，采用了自动化评估指标来确保任务完成度和视觉质量，同时在安全评估中使用了基于拒绝的安全标准，确保生成的数据集具有实际应用价值。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有评估的EFMs在安全关键场景中均产生了不安全的动作，生成不安全动作的比例达到100%。这一结果表明，当前模型在处理潜在危险时的安全性存在严重不足，强调了进一步研究和改进的必要性。
🎯 应用场景
该研究的潜在应用领域包括机器人安全、智能家居和人机交互等。通过提供高质量的训练数据，ROBOSHACKLES可以帮助研究人员和开发者在设计和部署具身基础模型时，更好地预防人类伤害，提高机器人在复杂环境中的安全性和可靠性。未来，该数据集可能推动相关领域的研究进展，促进安全技术的应用。
📄 摘要（原文）
Embodied Foundation Models (EFMs) integrate multimodal understanding, future-state reasoning, and executable robot actions. Yet their safety alignment for human-injury prevention remains underexplored, primarily because real-world data of robots harming humans or creating hazardous household situations cannot be safely or ethically collected. To address this challenge, we propose a safety-critical data construction pipeline for human-injury prevention in EFMs.Starting from real DROID observations, our construction pipeline proceeds through scene understanding, hazard-aware image editing, temporal prompt generation, and single-pass rollout synthesis. The temporal prompts specify the expected scene evolution, while Wan2.7 synthesizes realistic robotic rollouts from the edited hazardous states in a single pass. Using this pipeline, we construct ROBOSHACKLES, a 10,000-clip robotic video dataset derived from real DROID observations, spanning two direct-harm and four indirect-harm categories. To ensure dataset quality, we assess task completion and visual quality with automatic metrics, and evaluate six representative EFMs under a refusal-based safety criterion. Results show that all evaluated models produce unsafe actions in the tested safety-critical scenarios, yielding a 100% unsafe action generation rate. ROBOSHACKLES serves as a scalable benchmark and training resource for refusal learning and hazard anticipation before robot action execution.The dataset is publicly available at https://huggingface.co/datasets/YZW00/RoboShackles.