Dual-Stream Semantic Guidance with Prototype Anchor Calibration for Source-Fully-Free Adaptation of Vision-Language Models

📄 arXiv: 2608.28145v1 📥 PDF

作者: Weiwei Xiang, Shun Peng, Guangyi Xiao, Hao Chen, Lei Yang

分类: cs.CV

发布日期: 2026-08-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出双流语义引导以解决视觉语言模型的源完全自由适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 源完全自由适应 视觉语言模型 双流语义引导 动态知识蒸馏 原型锚校准 语义漂移 模型适应性

📋 核心要点

  1. 现有的源完全自由领域适应方法面临静态和动态语义漂移的问题，导致语义不一致和适应性能下降。
  2. 提出的双流语义引导（DSSG）框架通过结合领域特定知识的字幕流和全局类别一致性的类锚流来解决这一问题。
  3. 实验结果显示，DSSG在多个基准测试中超越了当前最先进的方法，同时DSSG-PAC将适应时间降低了18.9%。

📝 摘要（中文）

源完全自由领域适应（SFF-DA）作为一种新兴的策略，旨在在没有源数据或特定任务源模型的情况下适应视觉语言模型（VLMs）。然而，静态和动态语义漂移的存在严重阻碍了这一过程。为此，本文提出了双流语义引导（DSSG）框架，通过引入类锚流和动态跨模态知识蒸馏模块，解决了稳定性与可塑性之间的矛盾。此外，提出的原型锚校准（PAC）方法有效减少了冗余计算，同时保持了适应性的灵活性。实验结果表明，DSSG在多个基准测试中表现优于现有最先进的方法，并且DSSG-PAC在降低适应时间的同时保持了良好的适应性能。

🔬 方法详解

问题定义：本文旨在解决源完全自由领域适应（SFF-DA）中的双重语义漂移问题，包括固定类别嵌入的静态漂移和生成字幕的动态漂移，这导致了严重的语义不对齐。

核心思路：提出双流语义引导（DSSG）框架，通过引入字幕流和类锚流的结合，平衡细粒度的可塑性与全局稳定性，从而提高模型的适应能力。

技术框架：DSSG框架包括两个主要模块：字幕流用于获取领域特定知识，类锚流用于保持全局类别一致性。此外，动态跨模态知识蒸馏（CMKD）模块用于校准教师与学生之间的一致性。

关键创新：最重要的创新在于双语义引导（DSG）模块的设计，它有效整合了不同来源的信息，解决了传统方法中的稳定性与可塑性矛盾。

关键设计：在DSSG-PAC中，原型锚校准（PAC）定期校准原型锚并缓存，减少了文本侧的冗余计算，同时保持了对不断变化的文本空间的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DSSG在多个基准测试中均优于当前最先进的方法，具体表现为在适应性能上有显著提升。同时，DSSG-PAC在保持适应性能的同时，适应时间降低了18.9%，显示出其在效率上的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理与计算机视觉的结合，如图像描述生成、视觉问答等。通过提高视觉语言模型在无源数据情况下的适应能力，能够更好地服务于实际应用场景，提升模型的实用性和灵活性。

📄 摘要（原文）

Source-Fully-Free Domain Adaptation (SFF-DA) has emerged as a strategic paradigm to adapt Vision-Language Models (VLMs) without any access to source data or task-specific source models. However, we identify a critical Dual Semantic Drift that hinders this process: static drift arising from the rigidity of fixed class embeddings, and dynamic drift stemming from the divergence of generated captions, causing severe semantic misalignment that intensifies the stability-plasticity dilemma. To address this, we propose DSSG (Dual-Stream Semantic Guidance), an end-to-end framework that reconciles fine-grained plasticity with global stability. Our core contribution is the Dual Semantic Guidance (DSG) module, which integrates a caption stream for domain-specific knowledge with a class-anchor stream to anchor global categorical consistency. Furthermore, a Dynamic Cross-Modal Knowledge Distillation (CMKD) module is introduced to leverage the evolving teacher distribution for calibrating teacher-student consistency. Building upon DSSG, we further introduce Prototype Anchor Calibration (PAC), yielding DSSG-PAC, which periodically calibrates prototype anchors and caches them until the next calibration. This design reduces redundant text-side computation while preserving the adaptability of class guidance to the evolving text space. We further establish SFF-DA risk bounds that relate student risk to semantic-teacher quality and teacher--student discrepancy. Extensive experiments demonstrate that DSSG consistently outperforms current state-of-the-art methods across multiple benchmarks, while DSSG-PAC largely preserves its adaptation performance with 18.9% lower total adaptation time. The code is available at https://github.com/mrmenand/DSSG.