Multimodal Mixture-of-Experts with Retrieval Augmentation for Protein Active Site Identification

📄 arXiv: 2603.01511v1 📥 PDF

作者: Jiayang Wu, Jiale Zhou, Xingyi Zhang, Xun Lin, Tianxu Lv, Leong Hou U, Rubo Wang, Yefeng Zheng

分类: cs.AI

发布日期: 2026-03-02

💡 一句话要点

提出MERA框架，利用检索增强多专家模型解决蛋白质活性位点识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 蛋白质活性位点识别 检索增强 多专家混合模型 多模态融合 Dempster-Shafer证据理论

📋 核心要点

  1. 现有蛋白质活性位点识别方法在数据稀疏时单实例预测能力不足，且模态融合时缺乏可靠性评估。
  2. MERA框架通过检索增强，利用分层多专家模型动态聚合上下文信息，提升预测准确性。
  3. 实验表明，MERA在活性位点预测和肽结合位点识别上均优于现有方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种用于蛋白质活性位点识别的检索增强多专家混合模型（MERA），旨在解决现有方法在稀疏训练数据下的单实例预测脆弱性以及模态可靠性估计不足的问题。MERA采用分层多专家检索，通过残基级专家混合门控动态聚合来自链、序列和活性位点的上下文信息。为了防止模态退化，提出了一种基于Dempster-Shafer证据理论的可靠性感知融合策略，通过信念质量函数和可学习的折扣系数来量化模态的可信度，从而实现有原则的多模态集成。在ProTAD-Gen和TS125数据集上的大量实验表明，MERA实现了最先进的性能，在活性位点预测方面达到了90%的AUPRC，并在肽结合位点识别方面取得了显著的提升，验证了检索增强多专家建模和可靠性引导融合的有效性。

🔬 方法详解

问题定义：蛋白质活性位点识别对于理解蛋白质功能和药物发现至关重要。现有方法在训练数据稀疏的情况下，单实例预测容易出错。此外，多模态融合时，如果不可靠的模态占据主导地位，反而会降低性能。因此，如何有效利用上下文信息，并进行可靠的多模态融合是关键问题。

核心思路：MERA的核心思路是利用检索增强来补充上下文信息，并采用可靠性感知的融合策略来避免模态退化。通过检索与目标残基相关的链、序列和活性位点信息，可以有效缓解数据稀疏问题。同时，基于Dempster-Shafer证据理论的融合策略能够量化每个模态的可靠性，从而在融合过程中给予更可靠的模态更高的权重。

技术框架：MERA框架包含以下几个主要模块：1) 分层多专家检索模块，用于从链、序列和活性位点三个角度检索相关信息；2) 残基级专家混合门控模块，用于动态聚合检索到的上下文信息；3) 基于Dempster-Shafer证据理论的可靠性感知融合模块，用于融合不同模态的信息。整体流程是，首先进行多专家检索，然后通过混合门控机制聚合信息，最后进行可靠性感知的多模态融合，得到最终的活性位点预测结果。

关键创新：MERA的关键创新在于：1) 首次将检索增强引入蛋白质活性位点识别领域；2) 提出了分层多专家检索策略，能够从多个角度获取上下文信息；3) 提出了基于Dempster-Shafer证据理论的可靠性感知融合策略，能够有效避免模态退化。与现有方法相比，MERA能够更有效地利用上下文信息，并进行更可靠的多模态融合。

关键设计：在分层多专家检索模块中，使用了不同的检索策略来获取链、序列和活性位点信息。在可靠性感知融合模块中，使用了信念质量函数来量化每个模态的可靠性，并使用可学习的折扣系数来调整不同模态的权重。损失函数方面，使用了交叉熵损失函数来优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MERA在ProTAD-Gen和TS125数据集上取得了显著的性能提升。在活性位点预测方面，MERA达到了90%的AUPRC，超越了现有的最先进方法。在肽结合位点识别方面，MERA也取得了显著的增益，验证了检索增强多专家建模和可靠性引导融合的有效性。

🎯 应用场景

MERA框架可应用于蛋白质功能预测、药物靶点发现和药物设计等领域。通过准确识别蛋白质活性位点，可以更好地理解蛋白质的功能机制，从而加速新药研发进程。此外，该方法还可以扩展到其他生物信息学任务中，例如蛋白质-蛋白质相互作用预测和蛋白质结构预测。

📄 摘要（原文）

Accurate identification of protein active sites at the residue level is crucial for understanding protein function and advancing drug discovery. However, current methods face two critical challenges: vulnerability in single-instance prediction due to sparse training data, and inadequate modality reliability estimation that leads to performance degradation when unreliable modalities dominate fusion processes. To address these challenges, we introduce Multimodal Mixture-of-Experts with Retrieval Augmentation (MERA), the first retrieval-augmented framework for protein active site identification. MERA employs hierarchical multi-expert retrieval that dynamically aggregates contextual information from chain, sequence, and active-site perspectives through residue-level mixture-of-experts gating. To prevent modality degradation, we propose a reliability-aware fusion strategy based on Dempster-Shafer evidence theory that quantifies modality trustworthiness through belief mass functions and learnable discounting coefficients, enabling principled multimodal integration. Extensive experiments on ProTAD-Gen and TS125 datasets demonstrate that MERA achieves state-of-the-art performance, with 90% AUPRC on active site prediction and significant gains on peptide-binding site identification, validating the effectiveness of retrieval-augmented multi-expert modeling and reliability-guided fusion.