De-DSI: Decentralised Differentiable Search Index
作者: Petru Neague, Marcel Gregoriadis, Johan Pouwelse
分类: cs.IR, cs.AI, cs.DC
发布日期: 2024-04-18 (更新: 2024-04-19)
备注: Accepted at the 4th Workshop on Machine Learning and Systems (EuroMLSys), EuroSys 2024
💡 一句话要点
提出De-DSI框架以实现去中心化的信息检索
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 去中心化 信息检索 可微分搜索索引 大型语言模型 计算复杂性 多模型集成 束搜索 softmax归一化
📋 核心要点
- 现有的信息检索方法通常依赖于集中式架构，面临可扩展性和计算复杂性的问题。
- De-DSI框架通过去中心化的方式，结合可微分搜索索引，实现高效的查询与文档标识符连接。
- 实验结果表明，De-DSI在检索成功率上与集中式方法相当，同时具备更好的可扩展性和计算分布能力。
📝 摘要（中文）
本研究介绍了De-DSI，一个新颖的框架，将大型语言模型（LLMs）与真正的去中心化相结合，特别是在去中心化环境中采用可微分搜索索引（DSI）概念。De-DSI专注于高效地将新用户查询与文档标识符连接，而无需直接访问文档，仅基于查询-docid对进行操作。为提高可扩展性，引入了DSI模型的集成，将数据集划分为更小的分片进行单独模型训练。这种方法不仅通过减少每个模型需要处理的数据量来保持准确性，还通过聚合多个模型的结果来促进可扩展性。聚合过程使用束搜索识别顶级docid，并应用softmax函数进行分数归一化，选择得分最高的文档进行检索。去中心化实现表明，检索成功率与集中式方法相当，同时可以将计算复杂性分布到网络中。
🔬 方法详解
问题定义：本论文旨在解决传统集中式信息检索方法在可扩展性和计算复杂性方面的不足，尤其是在处理大规模用户查询时的效率问题。
核心思路：论文提出的De-DSI框架通过去中心化的方式，利用可微分搜索索引（DSI）概念，专注于查询-docid对的处理，避免直接访问文档，从而提高检索效率。
技术框架：De-DSI的整体架构包括多个DSI模型的集成，每个模型针对数据集的不同分片进行训练。聚合阶段使用束搜索算法来识别最佳的docid，并通过softmax函数进行得分归一化，最终选择得分最高的文档进行检索。
关键创新：De-DSI的主要创新在于其去中心化的实现方式，使得检索过程不仅保持了与集中式方法相当的成功率，还能有效分散计算负载，提升系统的可扩展性。
关键设计：在模型训练中，数据集被划分为多个小分片，每个DSI模型独立训练，减少了单个模型的负担。此外，聚合过程中采用的束搜索和softmax归一化策略确保了检索结果的准确性和有效性。
📊 实验亮点
实验结果显示，De-DSI在检索成功率上与传统集中式方法相当，且在处理大规模数据时，计算复杂性显著降低。通过聚合多个模型的结果，De-DSI实现了更高的可扩展性，提升了信息检索的效率。
🎯 应用场景
De-DSI框架具有广泛的应用潜力，尤其适用于需要处理大量用户查询的去中心化信息检索系统。其设计能够有效降低计算复杂性，适合在分布式网络环境中实现高效的信息检索，未来可应用于多种领域，如社交媒体、在线文档管理和多媒体内容检索等。
📄 摘要（原文）
This study introduces De-DSI, a novel framework that fuses large language models (LLMs) with genuine decentralization for information retrieval, particularly employing the differentiable search index (DSI) concept in a decentralized setting. Focused on efficiently connecting novel user queries with document identifiers without direct document access, De-DSI operates solely on query-docid pairs. To enhance scalability, an ensemble of DSI models is introduced, where the dataset is partitioned into smaller shards for individual model training. This approach not only maintains accuracy by reducing the number of data each model needs to handle but also facilitates scalability by aggregating outcomes from multiple models. This aggregation uses a beam search to identify top docids and applies a softmax function for score normalization, selecting documents with the highest scores for retrieval. The decentralized implementation demonstrates that retrieval success is comparable to centralized methods, with the added benefit of the possibility of distributing computational complexity across the network. This setup also allows for the retrieval of multimedia items through magnet links, eliminating the need for platforms or intermediaries.