Multi-Lingual Malaysian Embedding: Leveraging Large Language Models for Semantic Representations

📄 arXiv: 2402.03053v1 📥 PDF

作者: Husein Zolkepli, Aisyah Razak, Kamarul Adha, Ariff Nazhan

分类: cs.CL, cs.LG

发布日期: 2024-02-05

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出多语言马来西亚嵌入模型以提升语义表示能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 马来西亚语言模型 语义相似性 检索增强生成 模型微调 自然语言处理

📋 核心要点

  1. 现有的马来西亚语言模型在语义表示和检索任务中表现不足，尤其是在特定领域的应用上。
  2. 本研究通过微调Llama2和Mistral模型，提出了针对马来西亚语境的嵌入模型，旨在提升语义相似性和检索能力。
  3. 实验结果显示，微调后的Llama2模型在多个数据集上超越了OpenAI的基线模型，证明了方法的有效性。

📝 摘要（中文）

本研究全面探讨了对马来西亚语言模型的微调，特别是Llama2和Mistral在嵌入任务中的应用，涉及正负对的比较。我们发布了两个针对语义相似性和检索增强生成（RAG）任务的模型。在语义相似性方面，我们的600百万参数Llama2模型在多个测试集上超越了OpenAI的text-embedding-ada-002。在RAG模型中，我们的2亿参数Llama2模型在“马来”关键词的研究论文数据集上表现出色，特别是在Recall@5和Recall@10指标上。研究结果强调了微调策略的有效性，并展示了在语义相似性和RAG任务中的性能提升。

🔬 方法详解

问题定义：本研究旨在解决马来西亚语言模型在语义相似性和检索任务中的表现不足，现有方法在特定领域的应用效果不理想。

核心思路：通过对Llama2和Mistral模型进行微调，利用正负对的嵌入任务，提升模型在马来西亚语境下的语义表示能力。

技术框架：整体架构包括数据预处理、模型微调和评估三个主要阶段。首先，收集和标注马来西亚特定领域的数据集；然后，基于这些数据对模型进行微调；最后，通过多项指标评估模型性能。

关键创新：最重要的创新在于针对马来西亚特定语境的模型微调策略，显著提升了模型在语义相似性和检索任务中的表现，与现有方法相比，具有更高的准确性和召回率。

关键设计：在模型微调过程中，采用了600百万和2亿参数的Llama2模型，设置了适当的损失函数以优化语义相似性，同时在检索任务中调整了超参数以提高召回率。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，600百万参数的Llama2模型在多个测试集上超越了OpenAI的text-embedding-ada-002，尤其在b.cari.com.my和马来西亚Twitter数据集上表现突出。此外，2亿参数的Llama2模型在“马来”关键词的研究论文数据集上实现了Recall@5和Recall@10的显著提升，验证了微调策略的有效性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、社交媒体分析和自然语言处理等。通过提升马来西亚语言模型的语义表示能力，可以更好地满足本地用户的需求，推动相关技术在马来西亚及周边地区的应用与发展。

📄 摘要（原文）

In this work, we present a comprehensive exploration of finetuning Malaysian language models, specifically Llama2 and Mistral, on embedding tasks involving negative and positive pairs. We release two distinct models tailored for Semantic Similarity and Retrieval-Augmented Generation (RAG). For Semantic Similarity, our 600 million parameter Llama2 model outperforms OpenAI text-embedding-ada-002 across all recall@k metrics for b.cari.com.my, c.cari.com.my, Malay news, and Malaysian Twitter test sets. In the realm of RAG models, our approach proves competitive with OpenAI text-embedding-ada-002 in the Malaysian context. Notably, our 2 billion parameter Llama2 model achieves superior Recall@5, Recall@10 for the "Melayu" keyword research papers dataset and excels in Recall@3, Recall@5, and Recall@10 for the lom.agc.gov.my dataset. These findings underscore the effectiveness of our finetuning strategy and highlight the performance gains in both Semantic Similarity and RAG tasks. All models released at https://huggingface.co/collections/mesolitica/malaysian-embedding-6523612bfe5881ad35f81b99