VerifLM: Physically Verified Image-Edit-Guided Goal Pose Generation for Robotic Manipulation
作者: Xuanyou Chen, Jinyu Chen, Glen Chou
分类: cs.RO
发布日期: 2026-11-02
备注: Submitted to IEEE ICRA 2027
💡 一句话要点
提出VerifLM以解决机器人操作中的目标姿态生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人操作 目标姿态生成 物理验证 视觉语言模型 图像编辑 多模态融合
📋 核心要点
- 现有方法在指定机器人操作目标时，往往难以通过数值几何约束准确表达，导致操作效率低下。
- VerifLM框架通过图像编辑生成物体姿态，并利用物理验证来确保生成姿态的可行性，提升了操作的准确性。
- 在九个操作任务中，VerifLM在八个任务上实现了最高成功率，尤其在需要精确方向和接触关系的任务中表现突出。
📝 摘要（中文）
许多操作目标比通过明确的几何约束数值指定更容易可视化。我们提出了VerifLM框架，该框架将图像编辑的目标配置转换为经过物理验证的6自由度物体姿态以进行规划。VerifLM利用编辑后的图像恢复活动物体与被动物体之间的初始相对姿态，然后提示视觉语言模型生成轴向采样约束和特定任务的验证程序。候选姿态在物理模拟器中进行评估，VLM选择最符合任务的一致候选。为了在没有预定义物体网格或物理参数的情况下操作，VerifLM从RGB-D观测中重建度量物体几何，并构建多个具有不同物理和几何的假设模拟。平行世界验证在几何-物理变体中评估候选，并根据满足验证程序的世界数量对其进行排名。我们在九个操作任务上评估了VerifLM，结果显示在九个任务中有八个任务取得了最高的成功率，尤其是在需要精确方向和接触关系的目标上表现出最大的性能提升。
🔬 方法详解
问题定义：本论文旨在解决机器人操作中目标姿态生成的挑战，现有方法往往无法有效地将可视化目标转换为数值形式，导致操作不准确。
核心思路：VerifLM框架通过图像编辑恢复物体的相对姿态，并结合视觉语言模型生成约束和验证程序，确保生成的姿态在物理上是可行的。
技术框架：该框架包括几个主要模块：首先从编辑图像中提取初始姿态，然后生成轴向采样约束，接着在物理模拟器中评估候选姿态，最后通过平行世界验证选择最优解。
关键创新：VerifLM的创新在于其无需预定义物体网格或物理参数，通过RGB-D观测重建物体几何，并进行多种假设模拟，从而实现更高的灵活性和准确性。
关键设计：在设计中，VerifLM使用了特定的损失函数来优化姿态生成过程，并通过调整模拟参数来评估候选姿态的有效性，确保最终选择的姿态符合任务需求。
🖼️ 关键图片
📊 实验亮点
在实验中，VerifLM在九个操作任务中实现了八个任务的最高成功率，尤其在需要精确方向和接触关系的任务中，性能提升幅度最大，显示出该框架在实际应用中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人和自动化仓储等场景，能够显著提升机器人在复杂环境中的操作能力和灵活性。未来，VerifLM的技术可以扩展到更多的机器人任务和多模态交互中，推动智能机器人技术的发展。
📄 摘要（原文）
Many manipulation goals are easier to visualize than to specify numerically through explicit geometric constraints. We present VerifLM, a framework that converts image-edited goal configurations into physically verified 6-DoF object poses for planning. Using an edited image, VerifLM recovers an initial relative pose between an active object and a passive object, then prompts a vision-language model to generate axis-wise sampling constraints and a task-specific validation program. Candidate poses are evaluated in a physics simulator, and the VLM selects the most task-consistent retained candidate. To operate without predefined object meshes or physical parameters, VerifLM reconstructs metric object geometry from RGB-D observations and constructs multiple hypothetical simulations with varying physics and geometry. Parallel-world validation evaluates candidates across geometry--physics variations and ranks them by the number of worlds in which they satisfy the validation program. We evaluate VerifLM on nine manipulation tasks. VerifLM achieves the highest task success on eight of nine tasks, with the largest performance gain on goals requiring precise orientation and contact relationships.