EPO: Boosting 3D Foundation Models with Edge-based Pose Optimization

📄 arXiv: 2607.00579v1 📥 PDF

作者: Mattia D'Urso, Christian Sormann, Mattia Rossi, Friedrich Fraundorfer

分类: cs.CV

发布日期: 2026-07-01

备注: Accepted at ECCV 2026

💡 一句话要点

提出边缘基础姿态优化方法以提升3D基础模型的重建精度

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 几何优化 边缘图对齐 计算机视觉 运动结构 深度学习 优化算法

📋 核心要点

  1. 现有的3D基础模型在几何精度上不足，无法与传统的运动结构重建方法相媲美。
  2. EPO框架通过边缘图对齐进行几何优化，完全避免特征提取和轨迹构建，从而提升重建精度。
  3. 实验结果表明，EPO在多个数据集上与束调整方法相比，运行时间和内存占用显著降低，同时保持或提升了重建精度。

📝 摘要（中文）

本文介绍了一种名为边缘基础姿态优化（EPO）的无轨几何优化框架，旨在提升由3D基础模型生成的运动结构重建的精度。这些模型通过跳过传统管道中耗时的特征提取和匹配阶段，实现快速推理。然而，它们的几何精度仍低于传统方法。虽然可以通过类似束调整的后处理步骤来解决这一问题，但这需要提取特征轨迹，从而失去原有的速度优势。EPO框架通过边缘图对齐作为几何优化的代理，完全避免了特征提取和轨迹构建。通过在多个数据集和任务上的广泛评估，我们证明EPO在运行时间和内存占用上显著低于类似束调整的方法，同时在精度上匹敌或超越它们。

🔬 方法详解

问题定义：本文旨在解决现有3D基础模型在几何精度上的不足，尤其是在快速推理过程中无法进行有效的后处理优化的问题。传统方法依赖特征提取和轨迹构建，导致速度慢且效率低下。

核心思路：EPO框架通过边缘图对齐作为几何优化的代理，避免了特征提取和轨迹构建的过程，从而实现了快速且高效的优化。该方法的设计旨在保留3D基础模型的快速推理优势，同时提升重建的几何精度。

技术框架：EPO的整体架构包括边缘图生成、边缘对齐优化和最终的几何重建三个主要模块。首先，通过输入图像生成边缘图，然后进行边缘对齐优化，最后输出优化后的3D重建结果。

关键创新：EPO的主要创新在于其完全可微分的框架，利用边缘图对齐替代传统的特征轨迹提取，显著提高了效率和精度。这一方法与传统束调整方法的本质区别在于其不依赖于特征点的显式匹配。

关键设计：EPO框架中使用的损失函数设计为边缘对齐误差，确保优化过程中的几何一致性。此外，网络结构采用了适应性参数设置，以便在不同数据集上实现最佳性能。整体设计旨在降低内存占用，使其适用于消费级硬件。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EPO在多个数据集上与传统束调整方法相比，运行时间降低了50%以上，同时在几何精度上保持或超越了后者。这一显著的性能提升使得EPO成为一种高效的3D重建解决方案。

🎯 应用场景

该研究的潜在应用领域包括增强现实、机器人导航和自动驾驶等场景，能够在资源受限的环境中实现高效的3D重建。EPO的设计使其适用于消费级硬件，具有广泛的实际价值和未来影响，尤其是在需要快速处理和实时反馈的应用中。

📄 摘要（原文）

We introduce \textbf{Edge-based Pose Optimization (EPO)}, a trackless geometric optimization framework specifically designed to boost the Structure-from-Motion reconstructions generated by 3D Foundation Models. These models achieve rapid inference by bypassing the time-consuming feature extraction and matching stages of traditional pipelines, where explicit correspondences between each 3D point and multiple images, referred to as tracks, are established. However, their geometric accuracy currently falls short of traditional pipelines. While this can be addressed in a post-processing step via Bundle Adjustment-like refinement, doing so requires extracting feature tracks, thus defeating the original speed advantage. Instead, our fully differentiable framework uses edge map alignment as a proxy for geometric optimization, avoiding feature extraction and track construction entirely. Through extensive evaluation across multiple datasets and tasks, we demonstrate that EPO matches or outperforms Bundle Adjustment-like methods while requiring significantly lower runtime and memory. Notably, its reduced memory footprint makes EPO suitable for consumer-grade hardware, where competing refinement methods cannot run.