CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning

📄 arXiv: 2607.04619v1 📥 PDF

作者: Ganesh Pavan Kartikeya Bharadwaj Kolluri, Yuchen Zhang, Michael Kampouridis, Ravi Shekhar

分类: cs.SD, cs.CL

发布日期: 2026-07-06

💡 一句话要点

提出CARD模型以解决音频字幕生成中的编码器瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频字幕生成 无编码器模型 知识蒸馏 多模态学习 深度学习 性能优化

📋 核心要点

  1. 现有的音频字幕生成方法依赖于固定的音频编码器，导致推理时的性能瓶颈和高成本。
  2. CARD模型通过去除编码器，采用投影器和LLM的组合，创新性地将教师知识在不同组件间进行路由。
  3. 实验结果显示，CARD在多个数据集上显著提升了性能，证明了教师知识的有效利用和放置的重要性。

📝 摘要（中文）

现代自动音频字幕生成系统通常将一个冻结的音频编码器与大型语言模型（LLM）通过可训练的投影器连接，这导致了编码器推理成本和固定声学特征的瓶颈。本文提出了CARD，一个无编码器的音频字幕生成模型，在推理时去除了编码器：一个13.2M的投影器将合并的LoRA适配器输入到冻结的LLM中，同时丢弃了用于训练的教师模型。CARD将预训练的音频教师（CLAP-HTSAT）蒸馏到模型中，而不是仅仅注入到LLM中，而是将教师的表示在各个组件之间进行路由：将感知阶段的表示传递给投影器，将语义阶段的表示传递给LLM。这种设计使得在AudioCaps数据集上CIDEr-D提升了12.18，在Clotho数据集上提升了5.21，尽管没有在推理时使用编码器，但仍然达到了55.4的性能，接近66.4的编码器保留上限，表明教师知识的放置与其存在同样重要。

🔬 方法详解

问题定义：本文旨在解决现有音频字幕生成系统中编码器的推理成本和性能瓶颈问题。传统方法依赖于固定的音频编码器，限制了模型的灵活性和效率。

核心思路：CARD模型的核心思路是去除推理阶段的音频编码器，采用一个小型的投影器将音频特征直接输入到冻结的LLM中，同时通过路由机制将教师模型的知识有效地分配到不同的组件中。

技术框架：CARD的整体架构包括一个13.2M的投影器和一个冻结的LLM，投影器负责将音频特征传递给LLM，教师模型的知识则在感知和语义阶段之间进行路由。

关键创新：CARD的主要创新在于其无编码器的设计和知识路由机制，突破了传统方法对编码器的依赖，使得模型在推理时更加高效。

关键设计：在设计中，CARD使用了合并的LoRA适配器来增强投影器的能力，并通过精心选择的损失函数来优化模型性能，确保教师知识的有效蒸馏和利用。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

CARD模型在AudioCaps数据集上CIDEr-D得分提升了12.18，在Clotho数据集上提升了5.21，最终达到了55.4的性能，接近66.4的编码器保留上限。这一结果表明，教师知识的有效路由显著提升了模型的性能，展示了其在音频字幕生成中的优势。

🎯 应用场景

CARD模型在音频字幕生成领域具有广泛的应用潜力，尤其是在需要实时处理音频信息的场景，如视频内容自动化生成、无障碍服务和智能助手等。其无编码器的设计不仅降低了推理成本，还为未来的多模态学习提供了新的思路，可能推动相关技术的进一步发展。

📄 摘要（原文）

Modern automated audio captioning systems pair a frozen audio encoder with a large language model (LLM) via a trainable projector, incurring the encoder's inference cost and bottlenecking the model through its fixed acoustic features. We present CARD, an encoder-free audio captioning model that removes the encoder at inference: a 13.2M projector feeds a frozen LLM with merged LoRA adapters, while the teacher used to train it is discarded. CARD distills a pretrained audio teacher (CLAP-HTSAT) into the model, but rather than injecting it into the LLM alone, it routes the teacher's representations across components: perceptual stages to the projector and semantic stages to the LLM. This placement improves CIDEr-D by +12.18 over an LLM-only distilled model on AudioCaps and by +5.21 on Clotho, reaching 55.4 against a 66.4 encoder-kept upper bound with no encoder at inference, showing that where a teacher's knowledge is placed matters as much as its presence.