OrthoMotion:Disentangling Camera and Subject Motion via Geometry Semantics Orthogonal Attention
作者: Zijie Meng
分类: cs.CV, cs.AI
发布日期: 2026-06-22
备注: Accepted by SCA2026(poster)
💡 一句话要点
提出OrthoMotion以解决相机与主体运动解耦问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视频生成 运动解耦 几何通道 语义通道 交叉干扰 深度学习 计算机视觉
📋 核心要点
- 现有的2D条件方法无法有效解耦相机与主体运动，导致两者之间的干扰。
- 论文提出OrthoMotion，通过几何通道和语义通道分别处理相机和主体运动，实现有效解耦。
- 实验结果表明，OrthoMotion在相机和主体精度上达到了最先进水平，交叉干扰减少超过2.4倍。
📝 摘要（中文）
可控视频生成需要独立控制相机和主体，但现有的2D条件方法将两者纠缠在一起。本文证明这种纠缠是表征性的，而非架构性的，因此将解耦重新框定为操作符设计的问题。OrthoMotion通过几何通道和语义通道分别处理相机和主体运动，采用轻量级解耦正则化确保两者的响应子空间正交，从而有效减少交叉干扰。OrthoMotion是首个通过构造保证解耦的方法，达到了最先进的相机和主体精度，同时减少了交叉干扰。
🔬 方法详解
问题定义：本文要解决的问题是如何在视频生成中有效解耦相机运动与主体运动。现有方法由于相机和物体引起的光流共享相同的逆深度缩放，导致两者无法从图像证据中分离，造成干扰。
核心思路：论文的核心思路是通过设计不同的操作符来实现相机和主体运动的解耦。具体而言，OrthoMotion将相机运动引入几何通道，而主体运动则通过语义通道进行处理，从而实现有效的分离。
技术框架：OrthoMotion的整体架构包括两个主要模块：几何通道和语义通道。几何通道通过旋转位置嵌入的相位进行相机运动的处理，而语义通道则通过跨注意力中的门控值注入来处理主体运动。
关键创新：OrthoMotion的最大创新在于通过构造保证了相机与主体运动的解耦，而不是依赖于希望其自然出现。这一方法在设计上确保了两者的响应子空间正交，从而有效减少了交叉干扰。
关键设计：在设计中，采用了轻量级的解耦正则化，确保几何通道和语义通道的响应子空间正交。此外，使用了旋转与平移的代数互补性，使得两者在操作上不再相互干扰。
🖼️ 关键图片
📊 实验亮点
实验结果显示，OrthoMotion在相机和主体精度上达到了最先进的水平，同时交叉干扰减少超过2.4倍。通过引入新的交叉干扰误差（CTE）度量，进一步量化了该方法的有效性，且在不同骨干网络上均表现出良好的泛化能力。
🎯 应用场景
该研究的潜在应用场景包括可控视频生成、虚拟现实、增强现实等领域。通过实现相机与主体运动的独立控制，OrthoMotion可以提升视频内容的生成质量和交互体验，具有重要的实际价值和未来影响。
📄 摘要（原文）
Controllable video generation demands independent command of the camera and the subject, yet 2D conditioning entangles them: camera- and object-induced optical flow share the same inverse-depth (1/Z) scaling and cannot be separated from image evidence alone. We first prove that this entanglement is representational, not architectural -- the 2D camera/object split is a non-identifiable inverse problem -- and therefore reframe decoupling as a question of operator design. We resolve it at the level of the attention operator. OrthoMotion routes camera motion into a geometric channel, a norm-preserving rotation of the rotary position embedding (RoPE) phase, and subject motion into a semantic channel, a gated value injection in cross-attention. Because these sub-operators are algebraically complementary -- a rotation versus a translation of the affine action on tokens -- a lightweight decoupling regularizer provably drives their response subspaces to orthogonality, so the two controls stop interfering. To our knowledge OrthoMotion is the first method to guarantee disentanglement by construction rather than hope for it to emerge. It attains state-of-the-art camera and subject accuracy at once while minimizing cross-talk, which we quantify with a new Cross-Talk Error (CTE) metric, cutting cross-talk by more than 2.4x with no loss in fidelity and generalizing across backbones.