DarkVGGT: Seeing Through Darkness Using Thermal Geometry without Daylight Tax
作者: Minseong Kweon, Wenyuan Zhao, Nuo Chen, Lulin Liu, Huiwen Han, Zihao Zhu, Srinivas Shakkottai, Chao Tian, Zhiwen Fan
分类: cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出DarkVGGT以解决低光环境下的3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 低光环境 热成像 几何估计 多模态融合 深度学习 计算机视觉
📋 核心要点
- 现有的3D重建方法在黑暗和低可见度环境中表现不佳，RGB线索严重退化，导致几何证据模糊不清。
- 本文提出DarkVGGT框架，通过物理感知的热建模，利用RGB-T数据进行稳健的3D几何估计。
- 在低可见度RGB-T基准上，DarkVGGT在深度和相机姿态估计上均表现出显著提升，超越了现有的前馈几何方法。
📝 摘要（中文）
近年来，前馈式3D重建方法在高效的场景几何估计中表现出色，但在黑暗和低可见度环境中，依赖可见光的外观使其脆弱。为了解决这一挑战，本文提出了DarkVGGT，一个基于RGB-T的前馈几何框架，利用物理感知的热建模在低光场景中进行稳健的3D估计。DarkVGGT引入了两个互补模块：物理启发的热因子分解提取发射主导的几何一致热线索，同时隔离可能引入几何模糊的稀疏反射残差；几何共享热路由则从热特定模式中隔离模态不变的几何结构，将可靠性感知的结构指导选择性地注入RGB流中。实验结果表明，在低可见度RGB-T基准上，深度和相机姿态估计均显著优于现有的前馈几何基线。
🔬 方法详解
问题定义：本文旨在解决在黑暗和低可见度环境中进行3D重建时，现有方法因依赖可见光而导致的性能下降问题。
核心思路：提出DarkVGGT框架，结合RGB和热成像数据，通过物理感知的热建模来增强几何估计的鲁棒性。
技术框架：DarkVGGT由两个主要模块组成：物理启发的热因子分解模块和几何共享热路由模块，前者提取热线索，后者将几何结构信息注入RGB流中。
关键创新：最重要的创新在于通过热因子分解和几何共享热路由的结合，能够有效隔离和利用热成像数据中的几何信息，从而克服传统方法的局限性。
关键设计：在设计中，采用了物理模型来指导热因子的提取，并通过损失函数来优化几何一致性，同时确保在良好光照条件下的性能保持。具体的网络结构和参数设置在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DarkVGGT在低可见度RGB-T基准上，深度估计和相机姿态估计的性能均显著提升，具体提升幅度超过了现有前馈几何基线，验证了其在复杂环境中的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、监控系统和搜索救援等场景，尤其是在低光或夜间环境中，能够提高3D重建的准确性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Recent feed-forward 3D reconstruction methods have demonstrated strong performance and flexibility in efficient end-to-end scene geometry estimation from image streams. However, their reliance on visible-light appearance makes them vulnerable in dark and low-visibility environments, where RGB cues are severely degraded and geometric evidence becomes ambiguous. To address this challenge, we propose DarkVGGT, an RGB-T feed-forward geometry framework that uses physics-aware thermal modeling for robust 3D estimation in low-light scenes. DarkVGGT introduces two complementary modules. First, physics-inspired thermal factorization extracts emissive-dominant, geometry-consistent thermal cues while isolating sparse reflective residuals that may introduce geometric ambiguity. Second, geometry-shared thermal routing isolates modality-invariant geometric structures from thermal-specific patterns, selectively injecting reliability-aware structural guidance into the RGB stream. Together, these components enable accurate thermal-informed geometry estimation under degraded RGB conditions while largely preserving performance in well-lit environments. Experiments on low-visibility RGB-T benchmarks demonstrate consistent improvements in both depth and camera pose estimation over existing feed-forward geometry baselines.