MA4DIV: Multi-Agent Reinforcement Learning for Search Result Diversification

📄 arXiv: 2403.17421v3 📥 PDF

作者: Yiqun Chen, Jiaxin Mao, Yi Zhang, Dehong Ma, Long Xia, Jun Fan, Daiting Shi, Zhicong Cheng, Simiu Gu, Dawei Yin

分类: cs.IR, cs.AI

发布日期: 2024-03-26 (更新: 2025-02-06)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MA4DIV以解决搜索结果多样性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 搜索结果多样性 多智能体强化学习 信息检索 推荐系统 α-NDCG

📋 核心要点

  1. 现有的搜索结果多样性方法多采用贪婪选择策略，效率低且易陷入次优解。
  2. 本文提出MA4DIV，通过将每个文档视为智能体，建模为多智能体协作任务，直接优化多样性指标。
  3. 实验表明，MA4DIV在公共数据集和工业数据集上均显著提升了搜索结果的有效性和效率。

📝 摘要（中文）

搜索结果多样性（SRD）旨在确保排名列表中的文档覆盖广泛的子主题，是信息检索和网络搜索中的重要问题。现有方法主要采用“贪婪选择”范式，逐个选择具有最高多样性评分的文档，或优化目标函数的近似值。这些方法效率低下，容易陷入次优状态。为了解决这些挑战，本文提出了多智能体强化学习（MARL）方法MA4DIV，将每个文档视为一个智能体，将搜索结果多样性建模为多个智能体之间的协作任务。通过将SRD排名问题建模为协作MARL问题，该方法能够直接优化多样性指标，如α-NDCG，同时实现高训练效率。实验结果表明，MA4DIV在公共TREC数据集和工业环境下的大规模数据集上，较现有基线在有效性和效率上均有显著提升。

🔬 方法详解

问题定义：本文旨在解决搜索结果多样性（SRD）问题，现有方法在选择文档时效率低下，容易陷入次优状态，无法有效覆盖广泛的子主题。

核心思路：MA4DIV通过将每个文档视为一个智能体，利用多智能体强化学习（MARL）框架，将搜索结果多样性建模为多个智能体之间的协作任务，从而直接优化多样性指标，提升效率。

技术框架：该方法的整体架构包括多个智能体（文档），每个智能体通过强化学习算法进行训练，协作选择文档以优化整体多样性。主要模块包括状态表示、动作选择和奖励机制。

关键创新：MA4DIV的核心创新在于将搜索结果多样性问题转化为协作的MARL问题，允许智能体之间的协作，从而有效避免了传统方法的次优陷阱。

关键设计：在设计中，使用了α-NDCG作为优化目标，设置了适当的奖励机制以鼓励多样性，同时采用了高效的训练策略以提高训练效率。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MA4DIV在公共TREC数据集和工业数据集上均显著优于现有基线，尤其在工业数据集上，提升幅度达到了XX%（具体数据待补充），有效性和效率均有显著改善。

🎯 应用场景

MA4DIV的研究成果可广泛应用于信息检索、推荐系统和搜索引擎等领域，能够有效提升搜索结果的多样性和用户满意度。随着信息量的增加，该方法的实际价值将愈加显著，未来可能推动更智能的搜索技术发展。

📄 摘要（原文）

Search result diversification (SRD), which aims to ensure that documents in a ranking list cover a broad range of subtopics, is a significant and widely studied problem in Information Retrieval and Web Search. Existing methods primarily utilize a paradigm of "greedy selection", i.e., selecting one document with the highest diversity score at a time or optimize an approximation of the objective function. These approaches tend to be inefficient and are easily trapped in a suboptimal state. To address these challenges, we introduce Multi-Agent reinforcement learning (MARL) for search result DIVersity, which called MA4DIV. In this approach, each document is an agent and the search result diversification is modeled as a cooperative task among multiple agents. By modeling the SRD ranking problem as a cooperative MARL problem, this approach allows for directly optimizing the diversity metrics, such as $α$-NDCG, while achieving high training efficiency. We conducted experiments on public TREC datasets and a larger scale dataset in the industrial setting. The experiemnts show that MA4DIV achieves substantial improvements in both effectiveness and efficiency than existing baselines, especially on the industrial dataset. The code of MA4DIV can be seen on https://github.com/chenyiqun/MA4DIV.