AdaBoosting Text Prompts for Vision-Language Models

📄 arXiv: 2607.00684v1 📥 PDF

作者: Seokhee Jin, Changhwan Sung, Sunung Mun, Hoyoung Kim, Jungseul Ok

分类: cs.LG

发布日期: 2026-07-01

备注: Accepted to ECCV 2026

💡 一句话要点

提出文本提示增强方法以提升视觉语言模型的分类准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本提示增强 视觉语言模型 少样本学习 AdaBoost 多模态学习

📋 核心要点

  1. 现有的少样本文本提示方法未能有效关注误分类示例，导致改进效果有限。
  2. 本文提出文本提示增强（TPB），通过将文本提示分类器视为弱学习器，聚焦于难分类示例以提升性能。
  3. TPB在十一项分类基准测试中显示出显著的准确性提升，并在迁移到更强大的VLMs时保持了性能增益。

📝 摘要（中文）

预训练的视觉语言模型（VLMs）的分类准确性依赖于文本提示的质量。手工模板和大型语言模型（LLM）生成的描述不仅使预测更具可解释性，还能在不同的VLMs中重用相同的提示。现有的少样本文本提示方法未能明确关注误分类示例，导致即使增加样本数量，改进也仅限于边际。为充分利用少样本监督，本文提出了文本提示增强（TPB），该方法借鉴了AdaBoost的思想，将每个基于文本提示的分类器视为弱学习器，并通过明确针对难分类的示例，逐步聚合成强集成。实验表明，TPB在文本空间中保留了任务固有的、模型无关的线索，支持稳健的跨模型迁移。

🔬 方法详解

问题定义：本文旨在解决现有少样本文本提示方法未能有效利用误分类示例的问题。这些方法在构建提示时未能专注于难以分类的样本，导致性能提升有限。

核心思路：论文提出的文本提示增强（TPB）方法借鉴了AdaBoost的思想，将每个文本提示分类器视为弱学习器，通过聚焦于难分类的示例，逐步构建强大的分类器集成。这样的设计能够更好地利用少样本监督，提高分类准确性。

技术框架：TPB的整体架构包括多个阶段：首先，构建初始的文本提示分类器；其次，识别并聚焦于误分类的样本；最后，逐步集成多个分类器，以形成一个强大的集成模型。

关键创新：TPB的核心创新在于其聚焦于难分类示例的能力，这与现有方法的主要区别在于，后者往往忽视了这些示例的影响。TPB通过明确针对这些示例，显著提升了分类性能。

关键设计：在TPB中，设计了特定的损失函数以强调难分类样本的权重，并采用了适应性调整的策略来优化文本提示的生成过程。此外，模型结构上采用了模块化设计，以便于不同VLMs的适配与迁移。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在十一项分类基准测试中，TPB显著提升了源模型的准确性，并在迁移到更强大的VLMs时保持了性能增益。具体而言，TPB在多个任务上相较于现有方法提高了分类准确率，展示了其在少样本学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像分类、视觉问答和多模态检索等。通过提升视觉语言模型的分类准确性，TPB能够在实际应用中提供更可靠的结果，尤其是在数据稀缺的场景下。此外，TPB的设计理念也为未来的多模态学习研究提供了新的思路和方法。

📄 摘要（原文）

The classification accuracy of pretrained Vision-Language Models (VLMs) relies on the quality of the text prompts. Handcrafted templates and Large Language Model (LLM)-generated descriptions not only make predictions more interpretable, but also enable reuse of the same prompts across heterogeneous VLMs. Recent works construct task-adapted text prompts with a small number of labeled images. However, existing few-shot text prompting methods do not explicitly focus on misclassified examples during prompt construction, leading to only marginal improvements even as more shots become available. To fully exploit few-shot supervision, we propose Text Prompt Boosting (TPB), an AdaBoost-inspired framework that treats each text-prompt-based classifier as a weak learner and sequentially aggregates them into a strong ensemble by explicitly targeting hard, misclassified examples. Extensive experiments show that TPB preserves task-intrinsic, model-agnostic cues in text space, enabling robust cross-model transfer. Across eleven classification benchmarks, TPB improves accuracy on the source model and preserves shot-driven gains when transferred to larger, more capable VLMs, where existing methods struggle to sustain such improvements.