FewUser: Few-Shot Social User Geolocation via Contrastive Learning
作者: Menglin Li, Kwan Hui Lim
分类: cs.IR, cs.LG, cs.SI
发布日期: 2024-03-28
备注: 17 pages, 3 figures, 8 tables, submitted to ECML-PKDD 2024 for review
💡 一句话要点
提出FewUser框架以解决社交用户地理定位数据稀缺问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 少样本学习 社交媒体分析 地理定位 对比学习 预训练模型
📋 核心要点
- 现有社交用户地理定位方法面临地理标记数据稀缺的问题，导致性能受限。
- 本文提出FewUser框架，通过对比学习策略有效提升在少样本情况下的地理定位能力。
- 实验结果显示，FewUser在TwiU和FliU数据集上分别提升了26.95%和41.62%的性能，验证了其有效性。
📝 摘要（中文）
为了解决社交用户地理定位中地理标记数据稀缺的挑战，本文提出了FewUser，一个新颖的少样本社交用户地理定位框架。我们采用对比学习策略在用户与位置之间进行学习，以提高在无或有限训练数据下的地理定位性能。FewUser包含一个用户表示模块，利用预训练语言模型（PLM）和用户编码器有效处理和融合多样的社交媒体输入。为弥补PLM知识与地理数据之间的差距，我们引入了地理提示模块，通过硬提示、软提示和半软提示增强位置信息的编码。实验结果表明，FewUser在零样本和多种少样本设置下显著优于现有最先进方法，分别在TwiU和FliU数据集上实现了26.95%和41.62%的绝对提升。
🔬 方法详解
问题定义：本文旨在解决社交用户地理定位中地理标记数据稀缺的问题。现有方法在缺乏足够训练样本时，往往无法有效进行地理定位，导致性能下降。
核心思路：提出FewUser框架，通过对比学习策略在用户与位置之间进行有效的学习，增强模型在少样本情况下的表现。设计中结合了预训练语言模型与用户编码器，以更好地处理社交媒体数据。
技术框架：FewUser的整体架构包括用户表示模块、地理提示模块和对比学习模块。用户表示模块利用PLM和用户编码器处理社交媒体输入，地理提示模块通过不同类型的提示增强位置编码，对比学习模块则通过损失函数优化模型学习。
关键创新：FewUser的主要创新在于结合了对比学习和地理提示模块，尤其是通过硬、软和半软提示的设计，提升了地理信息的编码能力。这一设计与传统方法相比，显著提高了在少样本情况下的学习效果。
关键设计：在损失函数方面，采用了对比损失和匹配损失，并引入了硬负样本挖掘策略，以优化学习过程。用户表示模块的设计充分利用了PLM的知识，同时通过用户编码器融合多种社交媒体输入，确保信息的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
FewUser在TwiU和FliU数据集上分别实现了26.95%和41.62%的性能提升，显著优于现有最先进方法。这一结果表明，FewUser在零样本和少样本设置下的有效性，为社交用户地理定位提供了新的解决方案。
🎯 应用场景
该研究的潜在应用领域包括社交媒体分析、位置推荐系统和智能城市规划等。通过提升社交用户的地理定位能力，FewUser可以为用户提供更精准的服务和信息，具有重要的实际价值和未来影响。
📄 摘要（原文）
To address the challenges of scarcity in geotagged data for social user geolocation, we propose FewUser, a novel framework for Few-shot social User geolocation. We incorporate a contrastive learning strategy between users and locations to improve geolocation performance with no or limited training data. FewUser features a user representation module that harnesses a pre-trained language model (PLM) and a user encoder to process and fuse diverse social media inputs effectively. To bridge the gap between PLM's knowledge and geographical data, we introduce a geographical prompting module with hard, soft, and semi-soft prompts, to enhance the encoding of location information. Contrastive learning is implemented through a contrastive loss and a matching loss, complemented by a hard negative mining strategy to refine the learning process. We construct two datasets TwiU and FliU, containing richer metadata than existing benchmarks, to evaluate FewUser and the extensive experiments demonstrate that FewUser significantly outperforms state-of-the-art methods in both zero-shot and various few-shot settings, achieving absolute improvements of 26.95\% and \textbf{41.62\%} on TwiU and FliU, respectively, with only one training sample per class. We further conduct a comprehensive analysis to investigate the impact of user representation on geolocation performance and the effectiveness of FewUser's components, offering valuable insights for future research in this area.