Spatial Temporal Synergy: Balancing Change and Invariance in Text Driven 3D Human Motion Editing
作者: Shaohui Lin, Zhenwu Shi, Jingyu Gong, Jiao Xie, Yu Zhou, Baochang Zhang, Lizhuang Ma, Chia-Wen Lin
分类: cs.CV
发布日期: 2026-08-17
💡 一句话要点
提出CIME框架以解决文本驱动3D人类动作编辑中的变化与不变性问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D动作编辑 文本驱动 运动学 深度学习 计算机视觉
📋 核心要点
- 现有的文本驱动人类动作编辑方法在保持动作一致性与响应文本变化之间存在平衡困难，导致运动失真。
- 本文提出的CIME框架通过将变化与不变性解耦为空间姿态和时间节奏，提供了一种新的编辑方法。
- 在MotionFix和STANCE Adjustment数据集上，CIME在编辑对齐和结构保真度方面表现出色，达到了最先进的性能。
📝 摘要（中文）
文本驱动的人类动作编辑旨在根据自然语言指令修改现有的动作序列，同时保持原始动作的结构一致性。现有的基于扩散的方法在平衡文本响应的“变化”和惯性的“不变性”方面存在困难，通常依赖粗糙的空间约束和严格的时间假设，导致空间运动失真和内在物理节奏的破坏。为了解决这些挑战，本文提出了变化与不变性运动编辑（CIME）框架，全面将变化和不变性解耦为空间姿态和时间节奏两个维度。通过在MotionFix和STANCE Adjustment数据集上的广泛实验，CIME在编辑对齐和结构保真度方面达到了最先进的性能，验证了我们统一架构的有效性。
🔬 方法详解
问题定义：本文旨在解决文本驱动3D人类动作编辑中，现有方法在保持动作一致性与响应文本变化之间的平衡问题。现有方法通常依赖于粗糙的空间约束和严格的时间假设，导致运动失真和物理节奏的破坏。
核心思路：CIME框架通过将变化和不变性解耦为空间姿态和时间节奏两个维度，采用全监督的正负学习机制来处理空间姿态，同时引入Riemannian非均匀积分流形映射（RNIMM）模块来处理时间节奏，从而实现高保真度的动作编辑。
技术框架：CIME框架包括两个主要模块：空间姿态编辑模块和时间节奏编辑模块。空间姿态模块通过层次回顾特征监督和三元组语义对齐来实现，而时间节奏模块则通过RNIMM实现对物理节拍的高保真再现。
关键创新：CIME的核心创新在于将变化与不变性全面解耦，并通过正负学习机制和RNIMM模块实现高效的动作编辑。这一设计与现有方法的本质区别在于其对时间和空间的独立处理。
关键设计：在空间姿态模块中，采用了层次回顾特征监督和细微运动保留策略，损失函数设计上结合了正负样本对比；在时间节奏模块中，RNIMM模块通过运动学感知的非均匀时间戳实现了高保真度的节奏再现。
🖼️ 关键图片
📊 实验亮点
在MotionFix和STANCE Adjustment数据集上的实验结果表明，CIME在编辑对齐和结构保真度方面达到了最先进的性能，相较于基线方法，编辑对齐精度提升了XX%，结构保真度提升了YY%。这些结果验证了CIME框架的有效性和优越性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在动画制作、游戏开发和虚拟现实等领域。通过实现高质量的动作编辑，CIME可以帮助创作者更高效地生成符合文本描述的动态内容，提升用户体验。未来，该技术还可能扩展到人机交互和机器人控制等领域，推动智能系统的进一步发展。
📄 摘要（原文）
Text-driven human motion editing aims to modify existing motion sequences according to natural language instructions while maintaining the structural consistency of the original motion. Existing diffusion-based approaches struggle to balance text-responsive "change" and inertial "invariance". They often rely on coarse spatial constraints and rigid uniform time assumptions, leading to spatial motion distortions and the destruction of intrinsic physical rhythms during variable-length editing. To handle these challenges, we propose Change and Invariance Motion Editing (CIME), a unified framework that comprehensively decouples change and invariance into spatial pose and temporal rhythm dimensions. For spatial poses, our method integrates an omni-supervised positive-negative learning mechanism comprising hierarchical retrospective feature supervision, subtle motion preservation, and triplet-based semantic alignment. For temporal rhythms, we introduce the Riemannian Non-uniform Integral Manifold Mapping (RNIMM) module, which achieves high-fidelity reproduction of physical beats in the edited text via kinematics-aware non-uniform timestamps. Extensive experiments on the MotionFix and STANCE Adjustment datasets demonstrate that CIME achieves state-of-the-art performance in editing alignment and structural fidelity, validating the effectiveness of our unified architecture. Our source codes and models have been released at: github.com/ZhenwuShi/CIME.git