MILES: Modality-Informed Learning Rate Scheduler for Balancing Multimodal Learning

📄 arXiv: 2510.17394v1 📥 PDF

作者: Alejandro Guerra-Manzanares, Farah E. Shamout

分类: cs.LG, cs.CV

发布日期: 2025-10-20

备注: Accepted and presented at the 2025 International Joint Conference on Neural Networks (IJCNN'25). The paper was awarded an honorable mention (best 4 papers)

💡 一句话要点

提出MILES：一种模态感知学习率调度器，用于平衡多模态学习。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 学习率调度 模态平衡 条件利用率 联合融合

📋 核心要点

  1. 多模态学习易受模态过拟合影响，导致模型过度依赖单一模态，性能提升有限。
  2. MILES通过动态调整学习率，平衡各模态的学习速度，从而缓解模态过拟合问题。
  3. 实验表明，MILES在多个多模态任务上优于现有方法，提升了多模态和单模态性能。

📝 摘要（中文）

多模态神经网络旨在融合多种数据源（模态），以实现超越单模态的性能。然而，多模态网络的训练常受模态过拟合的阻碍，即网络过度依赖某一模态。这导致次优性能，限制了多模态学习的潜力，并造成相对于单模态模型的边际改进。本文提出了一种模态感知学习率调度器（MILES），用于以平衡的方式训练多模态联合融合模型。MILES利用训练期间模态条件利用率的差异来有效平衡多模态学习。学习率在训练期间动态调整，以平衡多模态模型从每个模态学习的速度，从而增强多模态和单模态预测的性能。我们在四个多模态联合融合任务上广泛评估了MILES，并将其性能与七个最先进的基线进行比较。结果表明，MILES在所有任务和融合方法上均优于所有基线，有效平衡了训练期间的模态使用。这提高了多模态性能，并增强了模态编码器，从而在处理单模态样本或缺失模态时可以加以利用。总而言之，我们的工作强调了平衡多模态学习对提高模型性能的影响。

🔬 方法详解

问题定义：多模态学习旨在利用多种数据模态提升模型性能，但现有方法容易出现模态过拟合问题，即模型过度依赖某个模态，导致其他模态的信息未能充分利用，最终影响整体性能。现有方法缺乏有效的机制来平衡不同模态的学习过程，导致模型在训练过程中偏向于某些模态，而忽略其他模态的贡献。

核心思路：MILES的核心思路是根据每个模态的条件利用率动态调整学习率。条件利用率反映了模型在多大程度上依赖于某个特定模态的信息。如果某个模态的利用率较低，则提高其学习率，反之则降低学习率。通过这种方式，MILES能够平衡不同模态的学习速度，避免模型过度依赖某个模态，从而提高整体性能。

技术框架：MILES主要包含以下几个步骤：1. 计算模态条件利用率：在训练过程中，计算每个模态的条件利用率，反映模型对该模态的依赖程度。2. 动态调整学习率：根据模态条件利用率，动态调整每个模态的学习率。利用率低的模态，提高学习率；利用率高的模态，降低学习率。3. 联合训练：使用调整后的学习率，联合训练多模态模型。

关键创新：MILES的关键创新在于提出了一种基于模态条件利用率的动态学习率调整策略。与传统的固定学习率或全局学习率调整方法不同，MILES能够根据每个模态的实际情况，自适应地调整学习率，从而更好地平衡多模态学习过程。

关键设计：MILES的关键设计包括：1. 模态条件利用率的计算方法：论文中具体描述了如何计算每个模态的条件利用率，可能涉及到梯度分析或其他相关技术。2. 学习率调整策略：论文中详细说明了如何根据模态条件利用率调整学习率，例如使用线性缩放或其他非线性函数。3. 与其他多模态融合方法的兼容性：MILES可以与多种多模态融合方法结合使用，例如联合融合、注意力机制等。

📊 实验亮点

实验结果表明，MILES在四个多模态联合融合任务上均优于七个最先进的基线方法。具体而言，MILES能够有效平衡训练期间的模态使用，提高多模态性能，并增强模态编码器。在某些任务上，MILES相对于基线方法取得了显著的性能提升，证明了其有效性和优越性。

🎯 应用场景

MILES可广泛应用于需要融合多种数据模态的任务中，例如：医学影像诊断（融合影像和临床数据）、自动驾驶（融合视觉、雷达和激光雷达数据）、情感分析（融合文本、语音和面部表情数据）等。该方法能够提升多模态模型的性能和鲁棒性，尤其是在某些模态数据缺失或质量较差的情况下，具有重要的实际价值。

📄 摘要（原文）

The aim of multimodal neural networks is to combine diverse data sources, referred to as modalities, to achieve enhanced performance compared to relying on a single modality. However, training of multimodal networks is typically hindered by modality overfitting, where the network relies excessively on one of the available modalities. This often yields sub-optimal performance, hindering the potential of multimodal learning and resulting in marginal improvements relative to unimodal models. In this work, we present the Modality-Informed Learning ratE Scheduler (MILES) for training multimodal joint fusion models in a balanced manner. MILES leverages the differences in modality-wise conditional utilization rates during training to effectively balance multimodal learning. The learning rate is dynamically adjusted during training to balance the speed of learning from each modality by the multimodal model, aiming for enhanced performance in both multimodal and unimodal predictions. We extensively evaluate MILES on four multimodal joint fusion tasks and compare its performance to seven state-of-the-art baselines. Our results show that MILES outperforms all baselines across all tasks and fusion methods considered in our study, effectively balancing modality usage during training. This results in improved multimodal performance and stronger modality encoders, which can be leveraged when dealing with unimodal samples or absent modalities. Overall, our work highlights the impact of balancing multimodal learning on improving model performance.