DENOISER: Rethinking the Robustness for Open-Vocabulary Action Recognition

📄 arXiv: 2404.14890v1 📥 PDF

作者: Haozhe Cheng, Cheng Ju, Haicheng Wang, Jinxiang Liu, Mengting Chen, Qiang Hu, Xiaoyun Zhang, Yanfeng Wang

分类: cs.CV

发布日期: 2024-04-23

💡 一句话要点

提出DENOISER框架以解决开放词汇动作识别中的噪声问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇动作识别 噪声处理 计算机视觉 生成模型 判别模型 鲁棒性提升 多模态学习

📋 核心要点

  1. 现有开放词汇动作识别方法未能有效处理用户输入的噪声类描述，影响了实际应用效果。
  2. 本文提出DENOISER框架，通过生成和判别两个部分，去噪类文本并优化视觉样本分类。
  3. 在三个数据集上进行的实验显示，DENOISER框架显著提升了模型的鲁棒性和分类准确性。

📝 摘要（中文）

开放词汇动作识别（OVAR）作为计算机视觉中的基本视频任务，近年来受到越来越多的关注。然而，现有方法在处理用户提供的类描述时忽视了可能存在的噪声，如拼写错误和打字错误，限制了其在实际应用中的有效性。为此，本文首次通过模拟多层次的噪声评估现有方法的鲁棒性，并提出了一种新的DENOISER框架，涵盖生成和判别两个部分。生成部分通过解码过程去噪类文本名称，判别部分则利用OVAR模型将视觉样本分配给类文本名称。实验结果表明，该框架在三个数据集上展现了优越的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决开放词汇动作识别（OVAR）中由于用户输入的类描述噪声（如拼写错误和打字错误）导致的鲁棒性不足的问题。现有方法通常将类标签视为文本描述，忽视了这些噪声对模型性能的影响。

核心思路：论文提出的DENOISER框架通过生成和判别两个部分来处理噪声。生成部分负责去噪类文本名称，而判别部分则利用OVAR模型将视觉样本与去噪后的类文本进行匹配，从而实现更准确的分类。

技术框架：DENOISER框架分为两个主要模块：生成模块通过解码过程生成候选文本，并利用跨模态和同模态信息进行投票选择最佳文本；判别模块则使用传统OVAR模型将视觉样本分配给去噪后的类文本。两部分交替迭代以实现逐步优化。

关键创新：DENOISER框架的创新在于其将噪声处理与动作识别相结合，首次系统性地评估了噪声对OVAR的影响，并通过生成和判别的交替优化实现了鲁棒性提升。与现有方法相比，该框架更有效地处理了类描述中的噪声。

关键设计：在生成模块中，采用了基于投票的解码过程来选择最佳文本候选；在判别模块中，使用了标准的OVAR模型进行样本分类。优化过程中，采用了交替迭代的策略，以确保生成和判别部分的有效协同。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个数据集上的实验结果表明，DENOISER框架显著提升了模型的鲁棒性，相较于基线方法，分类准确率提高了XX%，有效应对了类描述中的噪声问题。

🎯 应用场景

该研究的潜在应用领域包括视频监控、智能家居和人机交互等场景，能够有效提升开放词汇动作识别系统在实际环境中的鲁棒性和准确性。未来，DENOISER框架可能为其他计算机视觉任务中的噪声处理提供新的思路，推动相关技术的发展。

📄 摘要（原文）

As one of the fundamental video tasks in computer vision, Open-Vocabulary Action Recognition (OVAR) recently gains increasing attention, with the development of vision-language pre-trainings. To enable generalization of arbitrary classes, existing methods treat class labels as text descriptions, then formulate OVAR as evaluating embedding similarity between visual samples and textual classes. However, one crucial issue is completely ignored: the class descriptions given by users may be noisy, e.g., misspellings and typos, limiting the real-world practicality of vanilla OVAR. To fill the research gap, this paper pioneers to evaluate existing methods by simulating multi-level noises of various types, and reveals their poor robustness. To tackle the noisy OVAR task, we further propose one novel DENOISER framework, covering two parts: generation and discrimination. Concretely, the generative part denoises noisy class-text names via one decoding process, i.e., propose text candidates, then utilize inter-modal and intra-modal information to vote for the best. At the discriminative part, we use vanilla OVAR models to assign visual samples to class-text names, thus obtaining more semantics. For optimization, we alternately iterate between generative and discriminative parts for progressive refinements. The denoised text classes help OVAR models classify visual samples more accurately; in return, classified visual samples help better denoising. On three datasets, we carry out extensive experiments to show our superior robustness, and thorough ablations to dissect the effectiveness of each component.