PISA: A Pseudo-Individual Source-Domain Feature Adaptation Framework for Test-Time Open-Vocabulary Object Detection

📄 arXiv: 2608.14142v1 📥 PDF

作者: Ziyan He, Xiongtai Yang, Tao Wang

分类: cs.CV

发布日期: 2026-08-14

💡 一句话要点

提出PISA框架以解决开放词汇目标检测中的性能下降问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇目标检测 测试时自适应 特征对齐 抗干扰特征提取 深度学习 计算机视觉 无源学习

📋 核心要点

  1. 现有的无源OVOD-TTA方法在初始预测不佳时依赖伪标签，导致准确性显著下降。
  2. PISA通过抗干扰特征提取器和特征对齐模块，将抗干扰特征转化为伪个体源域特征，增强检测性能。
  3. 在VOC-C、COCO-C和LVIS-C基准测试中，PISA显著提升了定位精度和类别识别准确性，表现优于现有方法。

📝 摘要（中文）

开放词汇目标检测测试时自适应（OVOD-TTA）旨在解决预训练基础模型在遇到图像域偏移时的性能下降。现有的无源OVOD-TTA方法依赖于精细的测试时信息或伪标签进行自训练，导致初始预测不佳时准确性显著下降。为此，本文提出PISA，一种新颖的无源OVOD-TTA方法，能够无缝集成到开放词汇视觉骨干网络中。核心组件包括抗干扰特征提取器（CIFE）、特征对齐模块（FAM）和多尺度对齐框架（BAA），通过这些组件，PISA显著提高了原始模型的定位精度和类别识别准确性，并在COCO-C数据集上超越现有方法3.92%的AP@50%表现。

🔬 方法详解

问题定义：本文旨在解决开放词汇目标检测中，预训练模型在图像域偏移时性能下降的问题。现有方法在初始预测不佳时，依赖伪标签进行自训练，导致准确性下降。

核心思路：PISA框架通过抗干扰特征提取器（CIFE）提取在不同干扰下保持不变的特征，结合特征对齐模块（FAM）和多尺度对齐框架（BAA），将这些特征转化为伪个体源域特征，以增强检测性能。

技术框架：PISA的整体架构包括三个主要模块：CIFE用于提取抗干扰特征，FAM用于特征对齐，BAA用于多尺度特征的整合与对齐。该框架能够在不依赖源域数据的情况下进行有效的特征适应。

关键创新：PISA的核心创新在于利用CLIP视觉特征的抗干扰性，确保在多种干扰下的鲁棒性，并通过伪个体源域特征替代不可靠的伪标签信号。

关键设计：在设计中，CIFE专注于提取密集且具体的特征，FAM和BAA则负责特征的对齐与转换，确保最终输出的特征能够有效支持目标检测任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PISA在VOC-C、COCO-C和LVIS-C基准测试中表现出色，尤其在COCO-C数据集上，AP@50%提升了3.92%，显著超过了现有的无源OVOD-TTA方法，展示了其在目标检测领域的领先性能。

🎯 应用场景

PISA框架在开放词汇目标检测领域具有广泛的应用潜力，尤其适用于需要在不同环境下进行实时目标检测的场景，如自动驾驶、监控系统和机器人视觉等。该研究的成果能够提升模型在实际应用中的鲁棒性和准确性，推动智能视觉系统的发展。

📄 摘要（原文）

Open-vocabulary object detection test-time adaptation (OVOD-TTA) aims to address the performance degradation that pre-trained base models suffer when encountering image-domain shifts. Existing source-free OVOD-TTA methods rely either on refined test-time information for re-scoring or on pseudo-labels for self-training, leading to significant accuracy degradation when initial predictions are poor. Meanwhile, most conventional source-domain estimation methods recover abstract, sparse representations suitable for the classification task, but fail to capture the dense, concrete features required for detection. To address these issues, we propose PISA, a novel source-free OVOD-TTA method that can be seamlessly integrated into open-vocabulary visual backbones. The core components of our method are the Corruption-Invariant Feature Extractor (CIFE), the Feature Alignment Module (FAM), and a multi-scale alignment framework (BAA). To capture detection-suitable features, we develop CIFE to exploit the invariance of CLIP's visual features across corrupted images, ensuring robustness against various corruptions. We further develop FAM and BAA for the pre-training and adaptation to transform the corruption-invariant features into pseudo-individual source-domain features that are close to the original source-domain features. In this way, dense and concrete pseudo-individual source-domain features are used for supervision instead of unreliable pseudo-label signals. Experiments on the corrupted VOC-C, COCO-C, and LVIS-C benchmarks across three base models demonstrate that PISA substantially improves both the localization precision and the category recognition accuracy of the original models. Notably, PISA achieves state-of-the-art performance without requiring access to source-domain data, surpassing existing methods by 3.92% in AP@50% on COCO-C.