GIFT: Representation Geometry Matters for Single-Domain Generalized Object Detection

📄 arXiv: 2610.35374v1 📥 PDF

作者: Yin Zhang, Yaoyue Zheng, Yongqiang Zhang, Bogdan Raducanu, Dan Li

分类: cs.CV

发布日期: 2026-10-26

备注: Accepted at NeurIPS 2026. 22 pages, 11 figures

💡 一句话要点

提出GIFT以解决单域泛化目标检测中的几何结构问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单域泛化 目标检测 几何不变性 视觉基础模型 Householder反射 跨域适应 深度学习

📋 核心要点

  1. 现有的单域泛化目标检测方法主要关注模拟未见域或抑制域特定因素，忽视了视觉基础模型的内在泛化能力。
  2. 本文提出几何不变微调（GIFT），通过引入可学习的Householder反射来鼓励在域变化下保持几何一致性。
  3. GIFT在Cityscapes-C和多样天气数据集上分别提升了7.9%和2.9%的mPC，展示了其在跨域泛化中的有效性。

📝 摘要（中文）

单域泛化目标检测（S-DGOD）旨在在分布变化下从单一源域泛化到未见域。现有方法主要集中在模拟未见域或抑制域特定因素，但忽视了视觉基础模型（VFM）中固有的泛化能力。本文提出几何不变微调（GIFT），通过引入可学习的Householder反射来保持预训练表示的几何结构，从而实现几何一致的适应。实验结果表明，GIFT在两个S-DGOD基准上均优于现有最先进方法，且仅引入不到1%的可训练参数，便在Cityscapes-C和多样天气数据集上分别提升了7.9%和2.9%的mPC，强调了保持表示几何的重要性。

🔬 方法详解

问题定义：本文解决的是单域泛化目标检测中的几何结构问题，现有方法在微调过程中常常破坏预训练表示的几何结构，导致泛化能力下降。

核心思路：GIFT通过引入可学习的Householder反射，保持预训练表示的几何一致性，从而在域变化时实现更好的适应性。

技术框架：GIFT的整体架构包括预训练模型的几何不变微调模块和轻量级的通道缩放模块，前者用于保持几何结构，后者用于任务特定的适应。

关键创新：GIFT的核心创新在于引入了Householder反射这一几何变换，区别于传统方法的简单微调，强调了几何结构在跨域泛化中的重要性。

关键设计：在参数设置上，GIFT仅引入不到1%的可训练参数，损失函数设计上注重几何一致性，网络结构上结合了通道缩放以增强任务适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GIFT在Cityscapes-C和多样天气数据集上分别提升了7.9%和2.9%的mPC，且仅引入不到1%的额外可训练参数，显著优于现有最先进方法，验证了几何结构保持的重要性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等，能够在不同环境下实现更为鲁棒的目标检测。通过保持几何结构，GIFT为跨域泛化提供了有效的解决方案，未来可能推动相关领域的技术进步。

📄 摘要（原文）

Single-Domain Generalized Object Detection (S-DGOD) aims to generalize from a single source domain to unseen domains under distribution shifts. Existing efforts mainly focus on simulating unseen domains or suppressing domain-specific factors. However, they largely overlook the intrinsic generalization capability embedded in Vision Foundation Models (VFMs). In this work, we show that unconstrained fine-tuning disrupts the geometric structure of pre-trained representations, which encodes domain-invariant semantics. Motivated by this, we propose Geometric-Invariance Fine-Tuning (GIFT), a geometric-aware fine-tuning method for VFMs. Specifically, we introduce a series of learnable Householder reflections to the pre-trained weights to encourage geometry-consistent adaptation under domain shift. In addition, we propose a lightweight channel-wise scaling to facilitate effective task-specific adaptation. Extensive experiments demonstrate that GIFT consistently outperforms state-of-the-art (SOTA) approaches on two S-DGOD benchmarks. Notably, by introducing fewer than 1% additional trainable parameters into the frozen backbone, the proposed method achieves improvements of +7.9% and +2.9% in mPC over the previous SOTA on the Cityscapes-C and Diverse Weather Dataset, respectively. This finding highlights that preserving representation geometry is crucial for robust cross-domain generalization, establishing GIFT as a principled and efficient solution to domain shift.