PaperWeaver: Enriching Topical Paper Alerts by Contextualizing Recommended Papers with User-collected Papers
作者: Yoonjoo Lee, Hyeonsu B. Kang, Matt Latzke, Juho Kim, Jonathan Bragg, Joseph Chee Chang, Pao Siangliulue
分类: cs.DL, cs.AI, cs.CL, cs.HC
发布日期: 2024-03-05 (更新: 2024-05-09)
备注: Accepted to CHI 2024
💡 一句话要点
提出PaperWeaver以增强学术论文推荐的上下文理解
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 论文推荐 上下文理解 大型语言模型 用户研究 信息检索
📋 核心要点
- 现有的论文推荐系统仅提供标题和摘要，无法帮助研究人员理解推荐论文与其研究的细微联系。
- PaperWeaver通过分析用户收集的论文，利用大型语言模型生成上下文描述，增强推荐论文的理解。
- 用户研究表明，PaperWeaver显著提高了参与者对推荐论文相关性的理解和筛选信心。
📝 摘要（中文）
随着学术档案的快速增长，研究人员订阅“论文提醒”系统，以定期获取与其已收集论文相似的新发表论文推荐。然而，现有系统仅提供论文标题和摘要，导致研究人员难以理解推荐论文与自身研究之间的细微联系。为帮助研究人员识别这些联系，本文提出了PaperWeaver，一个增强的论文提醒系统，基于用户收集的论文提供推荐论文的上下文文本描述。PaperWeaver利用大型语言模型（LLMs）推断用户的研究兴趣，提取论文的上下文特定方面，并在这些方面比较推荐论文与已收集论文。用户研究（N=15）表明，使用PaperWeaver的参与者能够更好地理解推荐论文的相关性，并在与基线相比时更自信地进行筛选。
🔬 方法详解
问题定义：论文要解决的问题是现有论文推荐系统无法提供足够的上下文信息，导致研究人员难以理解推荐论文与其研究之间的关系。现有方法的痛点在于仅依赖标题和摘要，缺乏深入的分析和个性化的推荐。
核心思路：PaperWeaver的核心思路是通过用户收集的论文推断其研究兴趣，并基于此生成推荐论文的上下文描述。这种设计旨在帮助研究人员更好地理解推荐论文的相关性，从而提高筛选效率。
技术框架：PaperWeaver的整体架构包括三个主要模块：用户论文收集分析模块、上下文描述生成模块和推荐论文比较模块。首先，系统分析用户已收集的论文以提取研究兴趣；然后，生成推荐论文的上下文描述；最后，比较推荐论文与用户收集论文的相关性。
关键创新：最重要的技术创新点在于利用大型语言模型（LLMs）进行上下文描述的生成和推荐论文的比较，这与传统方法的简单匹配方式有本质区别。
关键设计：在关键设计方面，系统采用了特定的参数设置以优化上下文描述的生成效果，并设计了适应性损失函数以提高推荐的准确性。
🖼️ 关键图片
📊 实验亮点
在用户研究中，使用PaperWeaver的参与者在理解推荐论文的相关性方面表现出显著提升，相较于基线方法，参与者在筛选推荐论文时的信心提高了，具体数据表明理解度和筛选效率均有显著改善。
🎯 应用场景
PaperWeaver的潜在应用场景包括学术研究、文献综述和科研管理等领域。通过提供更具上下文的推荐，研究人员能够更高效地获取相关文献，提升研究质量和效率。未来，该系统还可以扩展到其他领域的文献推荐和信息检索中，具有广泛的实际价值。
📄 摘要（原文）
With the rapid growth of scholarly archives, researchers subscribe to "paper alert" systems that periodically provide them with recommendations of recently published papers that are similar to previously collected papers. However, researchers sometimes struggle to make sense of nuanced connections between recommended papers and their own research context, as existing systems only present paper titles and abstracts. To help researchers spot these connections, we present PaperWeaver, an enriched paper alerts system that provides contextualized text descriptions of recommended papers based on user-collected papers. PaperWeaver employs a computational method based on Large Language Models (LLMs) to infer users' research interests from their collected papers, extract context-specific aspects of papers, and compare recommended and collected papers on these aspects. Our user study (N=15) showed that participants using PaperWeaver were able to better understand the relevance of recommended papers and triage them more confidently when compared to a baseline that presented the related work sections from recommended papers.