ZooClaw-FashionSigLIP2: Distilled Fine-tuning for Robust Fashion Retrieval
作者: Siqiao Xue, Chunxue Xu
分类: cs.CV
发布日期: 2026-06-26
备注: ZooClaw Team
💡 一句话要点
提出ZooClaw-FashionSigLIP2以解决时尚检索中的模型泛化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时尚检索 知识蒸馏 全量微调 多模态学习 模型泛化 基准测试
📋 核心要点
- 现有的时尚检索方法在适应特定任务时，往往面临基础模型泛化能力下降的问题。
- 论文提出通过全量微调和知识蒸馏的方式，在领域内数据上进行优化，进而提升模型的检索性能。
- ZooClaw-FashionSigLIP2在公平评估下，超越了所有基线模型，展现出显著的性能提升。
📝 摘要（中文）
本论文提出了ZooClaw-FashionSigLIP2，这是一个专门针对时尚检索任务的SigLIP2基础模型。该模型通过在精心挑选的领域内数据上进行全量微调和知识蒸馏，解决了基础模型在特定任务上的泛化能力与目标分布之间的权衡问题。实验结果表明，ZooClaw-FashionSigLIP2在所有基准测试中均优于LoRA、较大骨干网络（参数量高达10亿）及外部训练数据。此外，研究团队还发布了ZooClaw-Fashion，一个新的高质量时尚检索基准，并对广泛使用的基准进行了系统的质量分析，以揭示和缓解其公共真值中的结构性偏差。所有模型权重和评估工具均已开源，以促进未来的研究。
🔬 方法详解
问题定义：本论文旨在解决时尚检索任务中，基础视觉-语言编码器在适应特定任务时泛化能力下降的问题。现有方法在目标分布上取得的提升，往往以牺牲基础模型的广泛泛化能力为代价。
核心思路：论文提出的ZooClaw-FashionSigLIP2模型，通过在精心挑选的领域内数据上进行全量微调，并结合知识蒸馏，来平衡模型的特定任务性能与泛化能力。
技术框架：该方法的整体架构包括两个主要阶段：首先是对基础模型进行全量微调，接着使用 extit{wiseft}方法进行权重插值，以增强模型的适应性和性能。
关键创新：ZooClaw-FashionSigLIP2的核心创新在于其结合了知识蒸馏与全量微调的策略，显著提升了时尚检索的准确性和鲁棒性，区别于传统方法仅依赖于单一的微调策略。
关键设计：在模型设计中，采用了特定的损失函数和参数设置，以确保在微调过程中有效保留基础模型的知识，同时通过知识蒸馏进一步提升模型的学习能力。
📊 实验亮点
在实验中，ZooClaw-FashionSigLIP2在所有基准测试中均超越了现有的LoRA模型和较大参数骨干网络，展现出显著的性能提升，具体提升幅度未知。该模型的开源将为后续研究提供重要的基础。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在时尚电商、在线购物和社交媒体平台中，能够提升用户的检索体验和商品推荐的准确性。未来，该模型的设计理念和方法也可推广至其他领域的多模态检索任务，推动相关技术的发展。
📄 摘要（原文）
Adapting a foundation vision-language encoder to a specialized retrieval task creates a fundamental tradeoff: gains on the target distribution come at the cost of the foundation model's broad generalization, and fashion retrieval is a stringent instance of this problem. We present ZooClaw-FashionSigLIP2, a fashion-specialized SigLIP2-base model that resolves this tradeoff with a simple recipe -- full fine-tuning with knowledge distillation on curated in-domain data, followed by \wiseft~\citep{wortsman2022wiseft} weight interpolation with the base model -- and outperforms LoRA, larger backbones (up to 1B parameters), and external training data. Under fair evaluation, ZooClaw-FashionSigLIP2 outperforms all baselines on every benchmark in our suite. In addition, we release ZooClaw-Fashion, a new high-quality fashion retrieval benchmark, and a systematic quality analysis of widely-used benchmarks that exposes and mitigates structural biases in their public ground truth. We open-source the model weights and all evaluation artifacts to facilitate future research.