PosePlaner: Denoising Any Feed-Forward Pose Predictor from Pairwise Planar Geometry
作者: Yihang Chen, Bin Tan, Yujun Shen, Yinghao Xu, Nan Xue
分类: cs.CV
发布日期: 2026-10-26
备注: Accepted at NeurIPS 2026. Project page: https://robbyant-research.github.io/PosePlaner/
💡 一句话要点
提出PosePlaner以解决多视角姿态预测中的几何信息利用不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 姿态预测 几何信息 流匹配 条件生成 3D重建 多视角学习 机器人导航
📋 核心要点
- 现有多视角姿态预测方法将几何信息与姿态估计耦合不清，导致预测精度不足。
- PosePlaner通过流匹配恢复对应关系与姿态的耦合，将姿态细化视为条件生成问题，从而提升预测精度。
- 实验证明PosePlaner有效纠正了前馈预测器的错误，提升了基于对应关系的求解器性能，并减少了长序列中的漂移。
📝 摘要（中文）
近年来，多视角Transformer（如DUSt3R和VGGT）通过扩展训练数据和模型容量，推动了3D重建的发展。然而，这种方法将特征提取、匹配和姿态估计等传统SfM/SLAM流程隐藏在单一的前馈传递中，导致各个阶段之间的接口模糊。为了解决这一问题，本文提出PosePlaner，通过流匹配恢复对应关系与姿态之间的经典耦合，将姿态细化视为条件生成问题，利用粗略几何匹配和初始姿态作为输入条件，融合生成的姿态假设为单一的精炼估计。该方法在两视图数据上高效训练，并可作为流式n视图姿态估计器的周期性细化器，无需重新训练。实验证明，该方法有效纠正了前馈预测器的失败，显著提升了基于对应关系的求解器性能，并减少了长时间流序列中的累积漂移。
🔬 方法详解
问题定义：本文旨在解决现有多视角姿态预测方法中几何信息利用不足的问题。现有方法在特征提取、匹配和姿态估计等阶段之间缺乏清晰的接口，导致预测结果的准确性受到影响。
核心思路：PosePlaner通过流匹配技术恢复对应关系与姿态之间的经典耦合，将姿态细化视为条件生成问题。该方法利用粗略的几何匹配和初始姿态作为输入条件，生成多个姿态假设并融合为一个精炼的估计，从而提升预测的准确性。
技术框架：PosePlaner的整体架构包括数据输入、流匹配模块、姿态生成模块和姿态融合模块。首先，输入粗略的几何匹配和初始姿态，然后通过流匹配模块生成多个姿态假设，最后将这些假设融合为一个精炼的姿态估计。
关键创新：PosePlaner的主要创新在于将姿态细化视为条件生成问题，并通过流匹配技术恢复了对应关系与姿态的耦合。这一设计与传统方法的本质区别在于，PosePlaner能够在测试时利用几何证据来修正预测结果。
关键设计：在技术细节上，PosePlaner采用了特定的损失函数来优化姿态生成过程，并设计了高效的网络结构以处理两视图数据。此外，该方法无需重新训练即可作为流式n视图姿态估计器的周期性细化器，极大地提高了实用性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PosePlaner有效纠正了前馈姿态预测器的失败，提升了基于对应关系的求解器性能，减少了长序列中的累积漂移。具体而言，与基线方法相比，PosePlaner在姿态估计的准确性上提升了X%，并在处理长时间流序列时显著降低了漂移率。
🎯 应用场景
PosePlaner在多视角3D重建、机器人导航和增强现实等领域具有广泛的应用潜力。通过提高姿态预测的准确性，该方法能够显著提升这些领域中的系统性能，尤其是在复杂环境下的实时应用中。未来，PosePlaner的技术框架也可能扩展到其他计算机视觉任务中，推动相关研究的发展。
📄 摘要（原文）
Recent multi-view Transformers (e.g., DUSt3R and VGGT) have advanced 3D reconstruction by scaling training data and model capacity from two views to many views and long sequences, subsuming the classical SfM/SLAM pipeline of feature extraction, matching, and pose estimation in a single feed-forward pass. Yet this subsumption hides the interfaces between pipeline stages---correspondences, geometry, and pose are entangled in a single forward pass, leaving supervised fine-tuning as the major path to improvement and offering no mechanism to correct predictions from geometric evidence at test time. We propose PosePlaner to close this gap by reviving the classical coupling between correspondences and pose via flow matching, treating pose refinement as a conditional generation problem that takes coarse geometric matches and initial pose as input condition and fuses the resulting pose hypotheses into a single refined estimate, providing a continuous, data-driven analog of RANSAC voting. Our method is trained efficiently on two-view data, yet serves as a periodic refiner for streaming n-view pose estimators with no retraining. Empirically, it corrects failures of feed-forward predictors, substantially improves correspondence-based solvers, and reduces accumulated drift in long streaming sequences.