URDF Synthesis from RGB-D Sequences via Differentiable Joint Inference and Energy-Consistent Verification
作者: Xinze Zhang
分类: cs.CV, cs.AI
发布日期: 2026-06-17
💡 一句话要点
提出KinemaForge以解决关节物体URDF重建问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: URDF重建 关节物体 可微求解 能量一致性 RGB-D序列 物理仿真 动态模型 约束驱动
📋 核心要点
- 现有方法在部件几何重建与运动参数估计之间缺乏有效的耦合，导致重建模型的动态特性不可靠。
- KinemaForge通过引入运动约束图和可微求解器，联合推断形状和运动参数，并使用能量一致性验证器确保模型的物理合理性。
- 实验结果显示，KinemaForge在关节轴误差和仿真漂移方面均有显著提升，成功率也有所提高，验证了其有效性。
📝 摘要（中文）
从传感器观测中重建可用于仿真的关节物体数字双胞胎面临两个主要挑战：一是部件级几何重建与运动参数估计相互解耦，二是恢复的模型常常违反基本的动态不变性，如能量守恒，导致在物理仿真中出现漂移。本文提出KinemaForge，一个基于约束驱动的管道，能够从短RGB-D序列中联合推断部件形状、关节拓扑和关节参数，并通过基于可微刚体动力学的能量一致性验证器对结果进行验证。该管道引入了三个组件：编码关节-部件关系的运动约束图、通过Featherstone的关节体算法反向传播的可微螺旋轴求解器，以及惩罚重建模型非物理自由响应的能量残差损失。实验结果表明，KinemaForge在多个基准测试中显著降低了关节轴误差和仿真漂移。
🔬 方法详解
问题定义：本文旨在解决从RGB-D序列重建关节物体的URDF模型时，几何重建与运动参数估计之间的解耦问题，以及恢复模型违反能量守恒导致的仿真漂移现象。
核心思路：KinemaForge通过约束驱动的方式，联合推断部件形状、关节拓扑和关节参数，确保重建模型在物理上合理。该方法设计了一个能量一致性验证器，以避免非物理响应。
技术框架：KinemaForge的整体架构包括三个主要模块：运动约束图、可微螺旋轴求解器和能量残差损失。运动约束图通过软边编码关节与部件的关系；可微螺旋轴求解器通过反向传播从渲染观测中推导关节参数；能量残差损失则用于惩罚不符合物理规律的模型响应。
关键创新：该研究的创新点在于引入了运动约束图和能量一致性验证器，使得几何重建与运动参数估计能够有效耦合，显著提升了模型的物理一致性。
关键设计：在损失函数设计上，采用了能量残差损失来约束模型的物理响应；在网络结构上，利用可微求解器实现了从观测到参数的反向传播，确保了模型的可训练性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，KinemaForge在五个PartNet-Mobility类别和内部RGB-D基准测试中，关节轴误差从4.52度降低至2.83度，仿真漂移降低64%，并且闭环操作成功率提高14.6个百分点，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、虚拟现实和增强现实等场景，能够为这些领域提供更为准确和可靠的物理模型，提升交互体验和仿真效果。未来，KinemaForge有望在智能制造和自动化设计中发挥重要作用。
📄 摘要（原文）
Reconstructing simulation-ready digital twins of articulated objects from sensor observations remains constrained by two persistent gaps: (i) part-level geometric reconstruction is decoupled from kinematic-parameter estimation, and (ii) the recovered models often violate basic dynamic invariants such as energy conservation, leading to drift when the URDF is replayed in physics simulators. We present KinemaForge, a constraint-driven pipeline that jointly infers part-level shape, joint topology, and joint parameters from short RGB-D sequences and validates the result against an energy-consistent verifier built on differentiable rigid-body dynamics. The pipeline introduces three components: a kinematic constraint graph that encodes joint-part incidences as soft edges; a differentiable screw-axis solver that backpropagates from rendered observations through Featherstone's articulated-body algorithm to joint parameters; and an energy residual loss that penalises non-physical free responses of the reconstructed model. Across five PartNet-Mobility categories and an internal RGB-D benchmark, KinemaForge reduces the average joint-axis error from 4.52 degrees to 2.83 degrees (-37.4%) over the strongest geometric baseline (PARIS) and from 5.30 degrees to 2.83 degrees (-46.6%) over the interaction-based Ditto baseline, lowers long-horizon simulation drift by 64% (vs. PARIS) over 50 s rollouts, and yields URDFs whose closed-loop manipulation success rate improves by 14.6 percentage points over Ditto in our preliminary evaluation. Code and reconstruction data will be released upon acceptance.