Embodied Scene Rearrangement Planning

📄 arXiv: 2608.27371v1 📥 PDF

作者: Canzhi Chen, Zan Wang, Siqi Zhu, Qi Wu, Yixuan Li, Wei Liang

分类: cs.RO

发布日期: 2026-08-27

备注: Accepted for publication in IEEE Robotics and Automation Letters (RA-L), 2026. Project page: https://bit-pie.github.io/ESRP/ Code: https://github.com/BIT-PIE/ESRP Dataset: https://huggingface.co/datasets/serendipity800/ESRP-PD

DOI: 10.1109/LRA.2026.3728329

💡 一句话要点

提出Embodied Scene Rearrangement Planning以解决机器人场景重排问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 场景重排 具身代理 长时间规划 机器人技术 3D场景理解 任务规划 智能代理

📋 核心要点

  1. 现有的场景重排任务通常允许全局状态访问，缺乏对现实世界中物体遮挡的考虑，导致在复杂环境中的应用受限。
  2. 论文提出了ESRP任务，要求代理仅依赖自我中心观察和目标布局进行家具重排，增强了任务的现实性和挑战性。
  3. 实验结果显示，现有方法在ESRP任务中表现不佳，强调了该领域的研究需求和未来发展方向。

📝 摘要（中文）

本文介绍了Embodied Scene Rearrangement Planning（ESRP），这是一个新颖的任务，要求具身代理在3D场景中重新排列家具，以匹配目标配置，仅使用自我中心观察和自上而下的目标布局。与以往的重排任务不同，ESRP不允许访问全局状态，并引入了相互遮挡的对象，反映了现实世界机器人部署的实际限制。这些因素使得将部分自我中心观察与全局目标布局对齐，特别是在长时间规划中变得极具挑战性。为促进研究，我们提出了ESRP-Bench，这是一个基于OmniGibson构建的综合基准，包含超过5400对场景和8200个对象。我们定义了三种多层次指标来评估重排质量，并提供了四个基线：一种分层任务与运动规划方法、基于视觉语言模型的方法以及两种基于学习的方法（IL和RL）。实验结果表明，当前方法在高效完成任务方面存在困难，突显了ESRP作为具身代理在场景理解和长时间任务规划中的挑战前沿。此项工作为在现实场景中部署智能代理奠定了基础。

🔬 方法详解

问题定义：本文旨在解决具身代理在复杂3D场景中重排家具的任务，现有方法在处理物体遮挡和缺乏全局状态访问时表现不佳，限制了其在实际应用中的有效性。

核心思路：论文提出的ESRP任务要求代理仅依赖自我中心观察和目标布局进行重排，旨在模拟现实世界中的复杂环境，提升机器人在动态场景中的适应能力。

技术框架：整体架构包括数据采集、任务规划和执行三个主要模块。数据采集阶段通过OmniGibson生成场景对，任务规划阶段使用定义的多层次指标评估重排质量，执行阶段则实现具体的家具移动。

关键创新：最重要的创新点在于引入了相互遮挡的对象和限制全局状态访问的设计，使得任务更贴近真实世界的复杂性，推动了具身代理在长时间规划中的研究。

关键设计：在技术细节上，论文设计了多层次评估指标，采用分层任务与运动规划方法、视觉语言模型和学习方法（IL和RL）作为基线，确保了对不同策略的全面评估。实验中使用的损失函数和网络结构经过精心设计，以适应复杂的场景重排需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前方法在ESRP任务中效率低下，尤其是在处理长时间规划时，完成率显著低于预期。通过与四个基线方法的对比，展示了ESRP任务的挑战性，强调了该领域的研究潜力和未来改进的方向。

🎯 应用场景

该研究的潜在应用领域包括家庭服务机器人、智能家具管理和虚拟现实环境中的场景重构等。通过提升机器人在复杂环境中的适应能力，ESRP为智能代理在实际场景中的部署提供了重要的理论基础和实践指导，未来可能推动智能家居和自动化服务的发展。

📄 摘要（原文）

This paper introduces Embodied Scene Rearrangement Planning (ESRP), a novel task requiring embodied agents to rearrange furniture in 3D scenes to match a target configuration using only egocentric observations and a top-down target layout. Unlike prior rearrangement tasks, ESRP precludes global state access and introduces mutual object occlusions, reflecting the practical constraints of real-world robotic deployment. These factors make aligning partial egocentric observations with the global target layout particularly challenging for long-horizon planning. To facilitate research, we present ESRP-Bench, a comprehensive benchmark built on OmniGibson featuring over 5,400 scene pairs and 8,200 objects. We define three multi-level metrics to evaluate rearrangement quality and provide four baselines: a hierarchical task-and-motion planning method, a vision-language-model-based method, and two learning-based approaches (IL and RL). Experimental results demonstrate that current methods struggle to complete the task efficiently, highlighting ESRP as a challenging frontier for embodied agents in scene understanding and long-horizon task planning. This work serves as a stepping stone toward deploying intelligent agents in real-world scenarios. Project page: https://pie-lab.cn/ESRP/.