ViP-Rig: Visual-Prompted Controllable Rigging
作者: Zihan Qin, Mingze Sun, Yifan Mao, Jialei Xu, Jingfeng Guo, Changrong Hu, Wenbo Zhao, Junjun Jiang, Xianming Liu
分类: cs.CV
发布日期: 2026-07-30
备注: 8 pages, 4 figures. Zihan Qin and Mingze Sun contributed equally. Xianming Liu is the corresponding author
💡 一句话要点
提出ViP-Rig以解决动画任务中骨骼控制不足的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 骨骼绑定 视觉提示 动画生成 机器学习 计算机图形学
📋 核心要点
- 现有的自动化骨骼绑定方法在控制骨骼结构和变形行为方面存在局限，无法满足特定动画需求。
- ViP-Rig通过视觉提示框架，结合用户绘制的2D骨骼和刚性提示，实现了更灵活的骨骼生成和编辑。
- 在Articulation-XL2.0和ModelsResource的实验中，ViP-Rig在目标骨骼和皮肤权重恢复上表现优异，超越了传统几何条件基线。
📝 摘要（中文）
骨骼绑定是任务依赖性强的过程，同一模型在不同动画任务中需要不同的骨骼和变形行为。现有自动化方法主要依赖几何信息生成可行的骨骼，但对骨骼和变形行为的控制有限。本文提出ViP-Rig，一个视觉提示框架，支持基于提示的骨骼生成和结果引导的编辑。该框架通过用户绘制或编辑的2D骨骼和刚性提示提取特征，分为骨骼生成和皮肤预测两个阶段。实验表明，ViP-Rig在目标骨骼和皮肤权重的恢复上优于基于几何的基线方法，展示了更明确和局部的控制能力。
🔬 方法详解
问题定义：本文旨在解决动画任务中骨骼绑定的灵活性不足问题。现有方法主要依赖几何信息生成骨骼，缺乏对骨骼结构和变形行为的显式控制，导致无法满足艺术家的具体需求。
核心思路：ViP-Rig框架通过引入用户绘制的2D提示，结合预训练的生成模型，实现了基于提示的骨骼生成和结果引导的编辑。这种设计使得用户能够在生成过程中直接影响骨骼的结构和变形行为。
技术框架：ViP-Rig分为两个主要阶段：骨骼生成和皮肤预测。在骨骼生成阶段，用户的骨骼草图通过密集到紧凑的视觉提示编码处理，生成固定长度的条件令牌。这些令牌通过门控适配器注入到冻结的自回归生成器中，以控制关节位置和分支结构。在皮肤预测阶段，刚性图通过相同的视觉编码设计处理，生成的令牌被对称注入到点和关节流中，以调节点-关节兼容性和皮肤权重。
关键创新：ViP-Rig的主要创新在于其视觉提示框架，允许用户通过2D提示直接影响骨骼生成和编辑过程。这种方法与传统的几何条件生成方法相比，提供了更高的灵活性和控制能力。
关键设计：在设计中，使用了密集到紧凑的视觉提示编码来处理用户输入，并通过门控适配器将生成的令牌注入到预训练的生成模型中。此外，保持皮肤预测阶段的预训练骨干网络冻结，确保生成过程的稳定性和一致性。
🖼️ 关键图片
📊 实验亮点
在Articulation-XL2.0和ModelsResource的实验中，ViP-Rig在目标骨骼和皮肤权重的恢复上表现出色，相较于几何条件基线，准确性显著提升，展示了更明确的控制能力。具体结果表明，ViP-Rig在提示引导评估下的性能优于现有方法，验证了其有效性。
🎯 应用场景
ViP-Rig的研究成果在动画制作、游戏开发和虚拟现实等领域具有广泛的应用潜力。通过提供更灵活的骨骼绑定和编辑能力，艺术家可以更高效地满足不同动画任务的需求，提升创作效率和作品质量。未来，该框架还可能扩展到其他需要骨骼控制的领域，如机器人运动规划和生物力学模拟。
📄 摘要（原文）
Rigging is inherently task-dependent because the same mesh may require different skeletons and deformation behaviors across animation tasks. In practice, artists often inspect an initial rig and repeatedly edit its skeletal structure and deformation behavior to meet specific animation requirements. Existing automatic methods primarily generate a plausible rig from geometry, offering limited explicit control over the resulting skeleton and deformation behavior. In this work, we present ViP-Rig, a visual-prompted framework that supports both prompt-first rigging and result-guided editing by injecting features extracted from user-drawn or edited 2D skeletal and rigidity prompts into frozen pretrained backbones. Specifically, ViP-Rig consists of two stages, Skeleton Generation and Skinning Prediction. In the first stage, the skeletal sketch is processed by the Dense-to-Compact Visual Prompt Encoding to produce compact, fixed-length conditioning tokens. The resulting tokens are injected into a frozen pretrained autoregressive generator through gated adapters to control joint placement and branching structure while preserving the generator's geometric prior. In the second stage, the rigidity map is processed using the same visual encoding design, while the pretrained skinning backbone remains frozen. The resulting tokens are symmetrically injected into the point and joint streams to modulate point-joint compatibility and the resulting skinning weights. Experiments on Articulation-XL2.0 and zero-shot evaluation on ModelsResource show that ViP-Rig more accurately recovers target skeletons and skinning weights than geometry-conditioned baselines under prompt-guided evaluation. Qualitative results further demonstrate explicit and localized control in both prompt-first rigging and result-guided editing.