BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers
作者: Ran Xu, Wenqi Shi, Yue Yu, Yuchen Zhuang, Yanqiao Zhu, May D. Wang, Joyce C. Ho, Chao Zhang, Carl Yang
分类: cs.CL, cs.AI, cs.IR, q-bio.QM
发布日期: 2024-04-29 (更新: 2024-10-04)
备注: Accepted to EMNLP 2024. The model and data are uploaded to \url{https://github.com/ritaranx/BMRetriever}
期刊: EMNLP 2024
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出BMRetriever以提升生物医学文本检索能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生物医学检索 无监督学习 指令微调 模型效率 大规模语料库
📋 核心要点
- 现有生物医学检索模型面临数据不足和计算资源匮乏的挑战，影响其在知识密集型任务中的表现。
- BMRetriever通过在大规模生物医学语料库上进行无监督预训练，并结合标注数据和合成对进行微调，提升了检索效果。
- 在五个生物医学任务的实验中，BMRetriever在多个数据集上表现优异，尤其是410M变体在参数效率上显著优于更大基线模型。
📝 摘要（中文）
开发有效的生物医学检索模型对于知识密集型生物医学任务至关重要，但由于缺乏足够的公开标注数据和计算资源，仍然面临挑战。本文提出BMRetriever，一系列通过在大规模生物医学语料库上进行无监督预训练，随后在标注数据集和合成对的组合上进行指令微调的密集检索器。实验验证了BMRetriever在11个数据集上的五个生物医学任务中的有效性。BMRetriever展现出强大的参数效率，410M变体的表现超过了基线模型，后者的参数量大达11.7倍，而2B变体的性能与超过5B参数的模型相当。训练数据和模型检查点已在https://huggingface.co/BMRetriever发布，以确保透明性、可重复性和在新领域的应用。
🔬 方法详解
问题定义：本文旨在解决生物医学领域中检索模型的有效性不足，现有方法受限于缺乏标注数据和计算资源，导致性能不佳。
核心思路：BMRetriever的核心思路是通过无监督预训练和指令微调相结合，利用大规模生物医学语料库来提升检索模型的能力，从而克服数据不足的问题。
技术框架：BMRetriever的整体架构包括两个主要阶段：首先是无监督预训练阶段，利用大规模语料库进行模型初始化；其次是微调阶段，结合标注数据和合成对进行优化。
关键创新：BMRetriever的创新之处在于其在无监督预训练后进行的指令微调，使得模型在处理生物医学检索任务时能够更好地理解和响应特定指令，显著提升了检索性能。
关键设计：在模型设计中，BMRetriever采用了高效的参数设置，损失函数设计上注重于提升检索准确性，同时网络结构经过优化以适应生物医学文本的特性。实验表明，410M变体在性能上超越了参数量达11.7倍的基线模型。
🖼️ 关键图片
📊 实验亮点
在实验中，BMRetriever的410M变体在多个生物医学任务上表现优异，其性能超过了基线模型，后者的参数量高达11.7倍。此外，2B变体的表现与超过5B参数的模型相当，显示出其卓越的参数效率。
🎯 应用场景
BMRetriever的研究成果在生物医学信息检索、临床决策支持系统以及医学文献检索等领域具有广泛的应用潜力。通过提升检索模型的效率和准确性，能够帮助研究人员和临床医生更快速地获取相关信息，进而推动生物医学研究和临床实践的发展。
📄 摘要（原文）
Developing effective biomedical retrieval models is important for excelling at knowledge-intensive biomedical tasks but still challenging due to the deficiency of sufficient publicly annotated biomedical data and computational resources. We present BMRetriever, a series of dense retrievers for enhancing biomedical retrieval via unsupervised pre-training on large biomedical corpora, followed by instruction fine-tuning on a combination of labeled datasets and synthetic pairs. Experiments on 5 biomedical tasks across 11 datasets verify BMRetriever's efficacy on various biomedical applications. BMRetriever also exhibits strong parameter efficiency, with the 410M variant outperforming baselines up to 11.7 times larger, and the 2B variant matching the performance of models with over 5B parameters. The training data and model checkpoints are released at \url{https://huggingface.co/BMRetriever} to ensure transparency, reproducibility, and application to new domains.