Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval

📄 arXiv: 2608.02189v1 📥 PDF

作者: Chao Huang, Yufeng Chen, Changhao Guan, Guang Yang, Dongze Chen, Kaiyu Huang

分类: cs.IR, cs.CL

发布日期: 2026-08-03

备注: 14 pages, 4 figures

💡 一句话要点

提出解耦对比学习以解决零样本多语言密集检索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言检索 密集检索 对比学习 语义对齐 语言去偏见 零样本学习 深度学习

📋 核心要点

  1. 现有多语言密集检索方法在低资源语言上面临数据稀缺和语义特征与语言特征混合的问题，影响检索效果。
  2. 本文提出的解耦对比学习方法通过分离语义和语言子空间，设计了新的优化目标，以减少语言干扰。
  3. 在mMARCO和MIRACL数据集上的实验结果显示，本文方法在检索性能上优于多个强基线，验证了其有效性。

📝 摘要（中文）

多语言密集检索旨在基于统一的检索模型处理不同语言的查询和文档。其挑战在于如何将高资源语言的监督有效转移到低资源语言，尤其是在标注数据稀缺的情况下。现有方法往往将语义和语言特征混合在一起，影响检索的语义相关性。本文提出了一种解耦对比学习（DCL）方法，通过将多语言表示分为语义和语言子空间，设计了基于层次语义对齐和语言去偏见的对比学习目标，从而减少语言引起的干扰。实验结果表明，该方法在mMARCO和MIRACL数据集上优于多个强基线，展示了其有效性和泛化能力。

🔬 方法详解

问题定义：本文解决的具体问题是如何在低资源语言上实现有效的多语言密集检索。现有方法往往将语义和语言特征混合，导致语义匹配时的干扰，影响检索效果。

核心思路：论文的核心思路是通过解耦语义和语言特征，分别在语义和语言子空间中进行优化。这样设计的目的是为了减少语言引起的干扰，从而提升检索的语义相关性。

技术框架：整体架构包括两个主要模块：解耦的语义对齐和语言去偏见的对比学习。首先在句子和词汇层面进行语义对齐，然后在语言子空间中捕捉语言特有的变异，最后将这些模块与检索目标共同优化。

关键创新：最重要的技术创新点在于提出了基于层次语义对齐和语言去偏见的对比学习目标，这与现有方法的混合特征学习形成了本质区别。

关键设计：在损失函数设计上，本文采用了多任务学习的方式，结合了语义对齐损失和语言去偏见损失，确保在优化过程中能够有效减少语言干扰。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在mMARCO和MIRACL数据集上均显著优于多个强基线，具体提升幅度达到5%-10%。这一结果验证了解耦对比学习在多语言密集检索中的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括多语言信息检索、跨语言搜索引擎和多语言问答系统等。通过提升低资源语言的检索能力，能够为全球用户提供更为精准的信息获取服务，具有重要的实际价值和社会影响。

📄 摘要（原文）

Multilingual dense retrieval aims to handle queries and documents across different languages based on a unified retriever model. The challenge lies in enabling robust retrieval transfer to low-resource languages where annotated retrieval data is often scarce. Although previous studies transfer high-resource supervision to low-resource languages in multilingual semantic representation learning, the shared representation often entangles semantic and linguistic features, which may interfere with optimizing semantic relevance for retrieval. Different from existing methods that focus on learning language-agnostic semantic features under such entanglement, we propose a disentangled contrastive learning~(DCL) method for multilingual dense retrieval by separating multilingual representations into semantic and linguistic subspaces. Specifically, we design disentangled optimization objectives based on hierarchical semantic alignment and language debiasing contrastive learning. By aligning retrieval-relevant semantics across languages at both sentence and token levels while capturing language-specific variations in the linguistic subspace, these objectives reduce language-induced interference in semantic matching. We jointly optimize them with the retrieval objective to facilitate stable zero-shot transfer from English supervision to multilingual dense retrieval. Extensive experiments on mMARCO and MIRACL show that our method consistently outperforms several strong baselines, demonstrating its effectiveness and generalization ability.