Asymmetric Cross-Modal Fine-Grained Visual Categorization: ACF-Net and the BirdPro Benchmark

📄 arXiv: 2608.25520v1 📥 PDF

作者: Bohan Deng, Shuo Ye, Zitong Yu

分类: cs.CV

发布日期: 2026-08-26

备注: Accepted by the 9th Chinese Conference on Pattern Recognition and Computer Vision (PRCV 2026). 15 pages, 5 figures

💡 一句话要点

提出ACF-Net以解决不对称跨模态细粒度视觉分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 细粒度视觉分类 跨模态学习 音视频融合 光流引导 不对称模态 鸟类识别 深度学习

📋 核心要点

  1. 现有的细粒度视觉分类方法在处理不对称跨模态场景时面临挑战，尤其是音视频配对不严格同步的问题。
  2. 本文提出的ACF-Net通过光流引导运动和不对称跨模态自适应融合模块，增强了动态表示并提高了模态融合的鲁棒性。
  3. 实验结果表明，ACF-Net在融合和不匹配设置下分别比最强基线提高了2.97%和1.92%的性能，显示出其有效性。

📝 摘要（中文）

音视频跨模态细粒度视觉分类（FGVC）旨在通过联合利用视觉和听觉信息来识别细粒度类别。然而，在不对称跨模态场景下，视频和音频的配对并不严格同步，甚至可能不对应同一对象或时刻。这种弱且模糊的跨模态对应关系给有效的表示学习和模态对齐带来了重大挑战。为了解决这些问题，本文提出了一种新颖的光流引导框架ACF-Net，包含光流引导运动（OFGM）和不对称跨模态自适应融合（ACAF）两个关键模块。OFGM捕捉运动敏感的视觉线索，抑制无关背景干扰，从而增强视频中的动态表示。ACAF在弱匹配的音视频对下估计模态可靠性，并进行不确定性感知的自适应融合，以提高类别级识别的鲁棒性。为支持不对称跨模态FGVC的研究，本文进一步构建了BirdPro，一个新的鸟类音视频基准数据集。

🔬 方法详解

问题定义：本文解决的是在不对称跨模态场景下进行细粒度视觉分类的问题，现有方法在音视频配对不严格同步时表现不佳，导致表示学习和模态对齐的困难。

核心思路：ACF-Net的核心思路是通过光流引导的运动捕捉和不对称模态自适应融合来增强视频中的动态表示，并在弱匹配的音视频对中进行有效的模态融合。

技术框架：ACF-Net由两个主要模块组成：光流引导运动（OFGM）模块用于捕捉运动信息，抑制背景干扰；不对称跨模态自适应融合（ACAF）模块用于估计模态可靠性并进行自适应融合。

关键创新：ACF-Net的创新在于引入了光流引导的运动捕捉机制和不确定性感知的自适应融合策略，这与传统的模态融合方法有本质区别，能够更好地处理不对称的音视频配对。

关键设计：在设计中，OFGM模块通过光流计算运动信息，ACAF模块则利用模态可靠性评估进行自适应融合，确保在弱匹配情况下仍能保持较高的识别性能。损失函数和网络结构经过精心设计，以优化模态融合效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ACF-Net在融合和不匹配设置下分别比最强基线提高了2.97%和1.92%的性能，证明了其在不对称跨模态细粒度视觉分类中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括生物多样性监测、生态研究以及智能监控系统等。通过提高细粒度视觉分类的准确性，ACF-Net能够在鸟类识别和其他物种分类任务中发挥重要作用，推动相关领域的研究和应用发展。

📄 摘要（原文）

Audio-visual cross-modal Fine-Grained Visual Categorization (FGVC) aims to identify fine-grained categories by jointly leveraging visual and auditory information. However, FGVC under asymmetric cross-modal scenarios has received limited attention, where paired video and audio are not strictly synchronized and may not even correspond to the same individual or moment. Such weak and ambiguous cross-modal correspondence poses substantial challenges to effective representation learning and modality alignment. To address these issues, we propose ACF-Net, a novel optical flow-guided framework for asymmetric audio-visual fine-grained learning. ACF-Net consists of two key modules: Optical Flow-Guided Motion (OFGM) and Asymmetric CrossModal Adaptive Fusion (ACAF). OFGM captures motion-sensitive visual cues and suppresses irrelevant background interference, thereby enhancing discriminative dynamic representations in videos. ACAF estimates modality reliability under weakly matched audio-video pairs and performs uncertainty-aware adaptive fusion to improve category-level recognition robustness. To support research on asymmetric cross-modal FGVC, we further construct BirdPro, a new bird-oriented audio-visual benchmark, since existing datasets often lack large-scale category-level audio-video associations under non-strict temporal and instance correspondence. BirdPro contains 1,919 audio recordings and 11,965 videos covering 194 bird species. Extensive experiments show that ACF-Net achieves the best results compared with representative baseline methods, outperforming the strongest baselines by 2.97% and 1.92% in the fused and mismatched settings, respectively.