Parameter-Efficient Adapter Tuning for Tabular-Image Multimodal Learning
作者: Jiaqi Luo
分类: cs.CV, cs.LG
发布日期: 2026-06-10
💡 一句话要点
提出TI-Adapter以解决多模态学习中的参数效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 适配器机制 表格数据 图像数据 高效微调
📋 核心要点
- 现有的多模态学习方法在全微调时计算开销大，而冻结编码器又限制了任务适应性。
- TI-Adapter通过冻结表格编码器并在提取的表格嵌入后学习适配器，实现高效的多模态适应。
- 在20个表格-图像数据集上的实验结果显示，TI-Adapter在可训练参数更少的情况下，预测性能优于完全微调。
📝 摘要（中文）
表格-图像多模态学习旨在通过联合使用结构化的表格属性和视觉数据来提高预测建模的效果。尽管预训练编码器提供了强大的特定模态表示，但完全微调可能会消耗大量计算资源，而保持编码器不变可能会限制任务特定的适应性。我们提出了表格-图像适配器（TI-Adapter），这是一种基于适配器的微调框架，用于高效的多模态适应。TI-Adapter在提取的表格嵌入后冻结预训练的表格编码器，并学习一个适配器，同时通过嵌入级和瓶颈级适配器来适应图像分支，而不是进行完全微调。在20个表格-图像数据集上的实验表明，TI-Adapter在使用显著更少的可训练参数的情况下，达到了与完全微调相当或更好的预测性能。消融研究进一步证明了适配器放置在性能与实际效率之间平衡的重要性。
🔬 方法详解
问题定义：本论文旨在解决表格-图像多模态学习中全微调带来的高计算成本和冻结编码器导致的适应性不足的问题。现有方法在处理多模态数据时，往往需要对所有参数进行微调，这不仅耗时且资源消耗大。
核心思路：论文提出的TI-Adapter通过冻结预训练的表格编码器，仅在提取的表格嵌入后学习适配器，同时采用嵌入级和瓶颈级适配器来适应图像分支，从而实现高效的多模态适应。这样的设计使得模型在保持性能的同时，显著减少了可训练参数的数量。
技术框架：TI-Adapter的整体架构包括三个主要模块：预训练的表格编码器、适配器模块和图像分支。首先，表格数据通过预训练的编码器进行处理，提取出表格嵌入；然后，在此嵌入后添加适配器模块；最后，图像数据通过适配器进行处理，完成多模态学习的任务。
关键创新：TI-Adapter的主要创新在于采用了适配器机制来替代全微调，特别是在图像分支中引入了嵌入级和瓶颈级适配器。这一设计与传统方法的根本区别在于，它能够在不完全微调的情况下，依然实现良好的任务适应性和性能。
关键设计：在参数设置上，TI-Adapter通过适配器的设计显著减少了可训练参数的数量，具体的损失函数和网络结构细节在实验中进行了优化，以确保在不同数据集上的性能表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TI-Adapter在20个表格-图像数据集上实现了与完全微调相当或更好的预测性能，同时可训练参数减少了显著的比例，具体提升幅度在不同数据集上有所不同，验证了其高效性和实用性。
🎯 应用场景
该研究的潜在应用场景包括金融、医疗和智能制造等领域，这些领域通常需要结合结构化数据和视觉数据进行预测分析。TI-Adapter的高效性使其在资源受限的环境中尤为重要，未来可能推动多模态学习在实际应用中的广泛采用。
📄 摘要（原文）
Tabular-image multimodal learning aims to improve predictive modeling by jointly using structured tabular attributes and visual data. Although pretrained encoders provide strong modality-specific representations, full fine-tuning can be computationally expensive, while keeping encoders frozen may limit task-specific adaptation. We propose the Tabular-Image Adapter (TI-Adapter), a modality-specific adapter-based fine-tuning framework for efficient multimodal adaptation. TI-Adapter freezes the pretrained tabular encoder and learns an adapter after the extracted tabular embedding, while adapting the image branch with embedding-level and bottleneck-level adapters instead of full fine-tuning. Experiments on 20 tabular-image datasets show that TI-Adapter achieves competitive or better predictive performance than full fine-tuning while using substantially fewer trainable parameters. Ablation studies further demonstrate the importance of adapter placement for balancing performance and practical efficiency.