Contribution-Aware Bandwidth Allocation for Multimodal Split Learning
作者: Iason Ofeidis, Leandros Tassiulas
分类: cs.LG, cs.DC, cs.NI
发布日期: 2026-09-01
备注: 10 pages, 4 figures
💡 一句话要点
提出ModalShare以解决多模态分裂学习中的带宽分配问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 分裂学习 带宽分配 Shapley贡献分数 压缩技术 智能边缘计算 数据传输优化
📋 核心要点
- 现有的压缩方案在多模态分裂学习中未能有效考虑每种模态对融合预测的贡献，导致性能不足。
- 本文提出ModalShare，通过Shapley贡献分数动态调整模态的保留比率，优化带宽利用率。
- 实验结果显示，ModalShare在多个数据集上显著提高了模型的准确性，尤其在5倍压缩下表现优异。
📝 摘要（中文）
多模态模型在网络边缘的感知任务中越来越普遍，但由于客户端无法为每种传感器流主办一个编码器，因此几乎完全在数据中心进行训练。分裂学习使得这种训练成为可能，但在每一步中，所有模态的压缩激活必须通过上行链路传输。现有的压缩方案对每种模态采用相同的保留比率，导致共享预算的分配与模态对融合预测的贡献无关。本文提出了一种名为ModalShare的分配器，通过计算Shapley贡献分数来明确模态间的分配，使得在固定的上行预算下，每种模态的保留比率能够反映其对融合预测的贡献。ModalShare在5倍压缩下，在CREMA-D和MVSA数据集上分别提高了15.4和12.4个百分点的准确性，且在三种压缩器、三个数据集和四个预算下表现强劲。
🔬 方法详解
问题定义：本文解决的是多模态分裂学习中带宽分配不合理的问题。现有方法对每种模态采用相同的保留比率，未能考虑模态对最终预测的贡献，导致性能下降。
核心思路：论文提出ModalShare，通过计算模态的Shapley贡献分数来动态调整每种模态的保留比率，从而优化带宽的使用效率。这样设计的原因在于，Shapley分数能够公平地反映每种模态在融合预测中的重要性。
技术框架：ModalShare的整体架构包括三个主要模块：首先，服务器接收各模态的激活并计算其Shapley贡献分数；其次，根据这些分数动态调整每种模态的保留比率；最后，通过优化的保留比率进行数据传输，确保在固定的上行预算下实现最佳性能。
关键创新：ModalShare的核心创新在于将模态间的带宽分配问题转化为一个明确的决策过程，利用Shapley贡献分数来指导保留比率的设置。这一方法与现有的均匀分配策略本质上不同，能够更有效地利用带宽资源。
关键设计：ModalShare的设计中，关键参数包括保留比率的计算方式和激活的压缩策略。损失函数的选择和网络结构的设计也经过精心调整，以确保在不同的压缩器和数据集上都能实现良好的性能。
🖼️ 关键图片
📊 实验亮点
ModalShare在CREMA-D和MVSA数据集上分别提高了15.4和12.4个百分点的准确性，且在5倍压缩下表现优异。实验表明，ModalShare在不同的压缩器和预算条件下均能显著提升模型性能，展示了其强大的适应性和有效性。
🎯 应用场景
该研究的潜在应用场景包括智能边缘计算、物联网设备的多模态数据处理以及实时视频分析等领域。通过优化带宽分配，ModalShare能够提升多模态模型的训练效率和预测准确性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Multimodal models are increasingly the default option for perception at the network edge, yet they are trained almost entirely in the datacenter, because a client holding several sensor streams cannot host an encoder per modality. Split Learning makes such training feasible by keeping only the first layers on the device, at the cost of an uplink that must carry smashed activations for every modality at every step. Existing compression schemes give each modality the same keep-ratio, so the shared budget is divided in proportion to smashed-activation dimension, a quantity unrelated to how much each modality contributes to the fused prediction. We make that division an explicit decision and call it inter-modality allocation: under a fixed uplink budget, every policy transmits the same expected payload and differs only in how that payload is split across modalities. Our allocator, ModalShare, sets each modality's keep-ratio from a Shapley contribution score that the server computes over coalitions of activations it has already received. Measuring this score adds no uplink traffic and no client-side computation, and needs no prior knowledge of which stream is which. ModalShare improves accuracy over equal keep-ratios by 15.4 and 12.4 percentage points on CREMA-D and MVSA at matched payload in 5x compression, with strong performance across three compressors, three datasets, and four budgets. We show that existing compressors underperform in multimodal settings, with ModalShare recovering what gains are left behind.