TACO: Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition
作者: Minghao Zhu, Xiao Lin, Mengxian Hu, Xun Zhou, Liuyi Wang, Xiaoyan Qi, Chengju Liu, Qijun Chen
分类: cs.CV
发布日期: 2026-06-24
🔗 代码/项目: GITHUB
💡 一句话要点
提出TACO框架以解决视频识别中的开放词汇适应问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 开放词汇适应 视频识别 相对结构蒸馏 模型泛化 深度学习
📋 核心要点
- 现有方法在开放词汇视频识别中未能有效处理微调与评估目标之间的不一致性，导致适应效果不佳。
- 本文提出的TACO框架通过相对结构蒸馏技术，保持训练分布之外的OOD相关对齐，从而优化适应过程。
- TACO在多个基准测试中表现出色，尤其是在跨数据集和基础到新颖的设置下，达到了最先进的性能。
📝 摘要（中文）
适应CLIP进行开放词汇视频识别需要在新获得的视频知识与预训练的泛化能力之间取得微妙的平衡。现有研究通过额外的正则化或约束来追求这种泛化与专业化的权衡，但忽视了在微调数据分布之外的表示偏差，导致适应效果不佳。本文提出了TACO框架，旨在减轻这种不一致性带来的潜在负面影响。我们的核心见解是，适应应保持训练分布之外的OOD相关对齐。为此，我们提出了相对结构蒸馏，正则化表示空间的相对几何形状，并在训练过程中抑制有害的对齐偏移。TACO在跨数据集和基础到新颖的设置下，在多个基准上建立了最先进的性能。
🔬 方法详解
问题定义：本文旨在解决开放词汇视频识别中微调与评估目标不一致所导致的表示偏差问题。现有方法在处理这种偏差时效果不佳，限制了模型的泛化能力。
核心思路：TACO框架的核心思路是通过保持OOD相关对齐来优化模型适应过程。我们认为，适应过程应超越训练分布，关注更广泛的表示空间。
技术框架：TACO框架包括两个主要模块：相对结构蒸馏和轻量级专业化投影。相对结构蒸馏用于正则化表示空间的几何形状，而专业化投影则用于解耦表示空间与优化空间。
关键创新：TACO的关键创新在于引入相对结构蒸馏技术，抑制了训练过程中的有害对齐偏移。这一方法与现有的正则化方法不同，专注于表示空间的几何关系。
关键设计：在设计中，我们采用了特定的损失函数来实现相对结构蒸馏，并通过轻量级的网络结构实现专业化投影，确保在测试时不直接过度专业化表示。
🖼️ 关键图片
📊 实验亮点
TACO在多个基准测试中表现出色，尤其是在跨数据集和基础到新颖的设置下，达到了最先进的性能，相较于现有方法，性能提升幅度显著，具体数据将在代码发布时提供。
🎯 应用场景
该研究的潜在应用领域包括视频监控、自动驾驶、智能家居等场景，能够提升系统在开放词汇条件下的识别能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Adapting CLIP for open-vocabulary video recognition necessitates a delicate balance between newly acquired video knowledge and the pretrained generalization. While existing studies pursue this generalization-specialization trade-off with additional regularizations or constraints, we argue that they overlook the deviation of representations beyond the fine-tuning data distribution, resulting in suboptimal adaptation effects. We believe such deviation is inherited from the inconsistency between the fine-tuning and evaluation objectives, where model optimization is restricted to the known training distribution but evaluated on unseen ones. In this paper, we introduce \emph{TACO}, a simple yet effective framework to mitigate the potential negative effects induced by this inconsistency. Our key insight is that adaptation should preserve OOD-relevant alignment beyond the training distribution. To this end, we propose \emph{Relative Structure Distillation}, which regularizes the relative geometry of the representation space and suppresses harmful alignment shift during training. We further decouple the representation space from the optimization space with a lightweight specialization projection, allowing task-specific adaptation without directly overspecializing the representations used at test time. \emph{TACO} establishes state-of-the-art performance on diverse benchmarks under cross-dataset and base-to-novel settings. Code will be released at https://github.com/ZMHH-H/TACO.