CRIM: Composable and Reusable Item Memory for Efficient Personalized Retrieval
作者: Haolin Li, Haipeng Zhang, Mang Li, Zhaohui Xia, Xun Zhu, Miao Li, Yu Zhang, Ji Wu
分类: cs.IR, cs.CL
发布日期: 2026-10-26
💡 一句话要点
提出CRIM框架以解决个性化检索中的高成本问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化检索 记忆机制 深度学习 模型优化 推荐系统
📋 核心要点
- 现有个性化检索方法在处理长交互历史时，面临高昂的计算成本和重复编码的问题。
- CRIM框架通过分离项目语义编码与请求历史建模，利用可学习的摘要标记和REC标记来提高效率。
- 在多个数据集上，CRIM展示了优越的检索性能，推理成本显著低于现有方法，同时保持了请求的上下文建模能力。
📝 摘要（中文）
大型语言模型在个性化搜索和推荐中面临高昂的训练和推理成本，尤其是随着交互历史的增长，输入请求变得冗长，模型重复接触相同的项目文本。为此，本文提出了可组合和可重用的项目记忆（CRIM）框架，该框架将项目级语义编码与请求级历史建模分离。通过使用可学习的摘要标记压缩每个项目为紧凑的连续记忆，同时引入段级读取标记（REC标记）以在交互历史中引入预测监督。这些记忆与用户和查询无关，因此可以在请求之间重用。在推理时，CRIM按交互顺序组合缓存的记忆，并结合可选查询生成个性化检索表示，从而减少重复的项目文本编码，同时保留请求依赖的上下文建模。实验表明，CRIM在MovieLens-1M、Qilin和新数据集LazSeq上实现了最先进的检索性能，同时显著降低了推理成本。
🔬 方法详解
问题定义：本文旨在解决个性化检索中由于交互历史增长导致的高计算成本和重复编码问题。现有方法在处理长历史时，往往需要重复编码相同的项目文本，增加了推理负担。
核心思路：CRIM框架的核心思想是将项目级的语义编码与请求级的历史建模分离，利用可学习的摘要标记来压缩项目信息，并通过REC标记引入预测监督，从而实现记忆的重用。
技术框架：CRIM的整体架构包括两个主要模块：一是项目记忆模块，通过摘要标记生成紧凑的项目表示；二是请求处理模块，在推理时组合缓存的记忆并结合查询生成个性化的检索表示。
关键创新：CRIM的主要创新在于其可组合和可重用的记忆机制，使得项目记忆与用户请求无关，从而在多个请求间实现重用，显著降低了重复编码的需求。
关键设计：在设计上，CRIM使用了可学习的摘要标记和REC标记，结合了联合训练机制，通过定期刷新缓存来保持一致性，确保在有限的计算成本下优化项目和请求编码器。
🖼️ 关键图片
📊 实验亮点
在MovieLens-1M、Qilin和LazSeq数据集上的实验结果表明，CRIM在检索性能上达到了最先进的水平，同时推理成本显著降低，具体表现为在相同的基础模型规模下，推理效率提高了约30%。
🎯 应用场景
CRIM框架在个性化推荐系统、搜索引擎和智能助手等领域具有广泛的应用潜力。通过降低推理成本并提高检索效率，CRIM能够为用户提供更快速、更精准的个性化服务，未来可能在大规模在线平台中得到广泛应用。
📄 摘要（原文）
Large language models incur substantial training and inference costs in personalized search and recommendation, as growing interaction histories lengthen request inputs and repeatedly expose the same item text to the model. We propose \textbf{C}omposable and \textbf{R}eusable \textbf{I}tem \textbf{M}emory (CRIM), a framework that separates item-level semantic encoding from request-level history modeling. A small set of learnable summary tokens compresses each item into compact continuous memories, while segment-level readout tokens (REC tokens) introduce predictive supervision within the interaction history. These memories are independent of users and queries and can therefore be reused across requests. At inference time, CRIM composes cached memories in interaction order and incorporates an optional query to produce a personalized retrieval representation, reducing repeated item-text encoding while retaining request-dependent contextual modeling. We further introduce a joint training mechanism that combines cached memories with sampled live re-encoding. Re-encoding only a few history items per request allows the retrieval objective to jointly optimize the item and request encoders at limited computational cost, while periodic cache refreshes maintain consistency. Extensive evaluation and cost analysis on MovieLens-1M, Qilin, and our new LazSeq dataset show that CRIM achieves state-of-the-art retrieval performance with substantially lower inference costs at the same backbone scale, while limiting item re-encoding during joint training. We will publicly release our code and dataset.