KnowPhish: Large Language Models Meet Multimodal Knowledge Graphs for Enhancing Reference-Based Phishing Detection

📄 arXiv: 2403.02253v2 📥 PDF

作者: Yuexin Li, Chengyu Huang, Shumin Deng, Mei Lin Lock, Tri Cao, Nay Oo, Hoon Wei Lim, Bryan Hooi

分类: cs.CR, cs.AI, cs.CL, cs.LG

发布日期: 2024-03-04 (更新: 2024-06-15)

备注: Accepted by USENIX Security 2024

期刊: 33rd USENIX Security Symposium (USENIX Security 2024), 793--810

💡 一句话要点

提出KnowPhish以解决现有钓鱼检测方法的品牌知识库不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 钓鱼检测 多模态学习 品牌知识库 大型语言模型 网络安全 自动化知识收集 图像与文本融合

📋 核心要点

  1. 现有的基于参考的钓鱼检测器依赖手动构建的品牌知识库，难以扩展，导致品牌覆盖不足和假阴性错误。
  2. 本文提出了一种自动化知识收集管道，构建了包含2万品牌的多模态品牌知识库KnowPhish，并利用LLM提取网页文本中的品牌信息。
  3. 在新加坡的实地研究中，KnowPhish和KPD在检测效果和效率上显著优于现有的最先进方法，展示了其实际应用潜力。

📝 摘要（中文）

钓鱼攻击对个人和企业造成了重大损失，因此开发强大且高效的自动化钓鱼检测方法显得尤为重要。基于参考的钓鱼检测器（RBPD）通过比较目标网页上的标志与已知标志集来检测钓鱼网页，但现有RBPD依赖手动构建的品牌知识库，难以扩展到大量品牌，导致品牌覆盖不足而产生假阴性错误。为了解决这一问题，本文提出了一种自动化知识收集管道，构建了包含2万品牌的多模态品牌知识库KnowPhish，能够以即插即用的方式提升现有RBPD的性能。此外，现有RBPD仅依赖图像模态，忽略了网页HTML中有用的文本信息。为此，本文提出了一种基于大型语言模型（LLM）的方法，从文本中提取网页品牌信息。最终的多模态钓鱼检测方法KnowPhish Detector（KPD）能够检测有无标志的钓鱼网页。经过手动验证的数据集和新加坡本地环境下的实地研究评估，KnowPhish和KPD在有效性和效率上均显著优于现有最先进的基线。

🔬 方法详解

问题定义：现有的基于参考的钓鱼检测器（RBPD）依赖手动构建的品牌知识库，难以扩展到大量品牌，导致品牌覆盖不足，进而产生假阴性错误。

核心思路：本文提出了一种自动化的知识收集管道，构建了一个包含2万品牌的多模态品牌知识库KnowPhish，并结合大型语言模型（LLM）从网页文本中提取品牌信息，以提升检测准确性。

技术框架：整体架构包括知识收集模块、品牌信息提取模块和钓鱼检测模块。知识收集模块自动收集品牌信息，品牌信息提取模块利用LLM从文本中提取相关信息，钓鱼检测模块结合图像和文本信息进行综合判断。

关键创新：最重要的技术创新在于构建了一个大规模的多模态品牌知识库KnowPhish，并提出了结合图像和文本信息的多模态钓鱼检测方法KPD，显著提升了检测的全面性和准确性。

关键设计：在模型设计中，采用了特定的损失函数来平衡图像和文本信息的权重，并优化了网络结构以适应多模态输入，确保了检测性能的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在新加坡的实地研究中，KnowPhish和KPD的检测准确率相比现有最先进的基线提高了显著的百分比，展示了其在实际应用中的有效性和效率，尤其是在品牌覆盖和文本信息利用方面的优势。

🎯 应用场景

该研究的潜在应用领域包括网络安全、电子商务和社交媒体等，能够有效提升钓鱼攻击的检测能力，保护用户和企业免受损失。未来，随着品牌知识库的不断扩展和更新，该方法有望在更广泛的场景中应用，进一步增强网络安全防护能力。

📄 摘要（原文）

Phishing attacks have inflicted substantial losses on individuals and businesses alike, necessitating the development of robust and efficient automated phishing detection approaches. Reference-based phishing detectors (RBPDs), which compare the logos on a target webpage to a known set of logos, have emerged as the state-of-the-art approach. However, a major limitation of existing RBPDs is that they rely on a manually constructed brand knowledge base, making it infeasible to scale to a large number of brands, which results in false negative errors due to the insufficient brand coverage of the knowledge base. To address this issue, we propose an automated knowledge collection pipeline, using which we collect a large-scale multimodal brand knowledge base, KnowPhish, containing 20k brands with rich information about each brand. KnowPhish can be used to boost the performance of existing RBPDs in a plug-and-play manner. A second limitation of existing RBPDs is that they solely rely on the image modality, ignoring useful textual information present in the webpage HTML. To utilize this textual information, we propose a Large Language Model (LLM)-based approach to extract brand information of webpages from text. Our resulting multimodal phishing detection approach, KnowPhish Detector (KPD), can detect phishing webpages with or without logos. We evaluate KnowPhish and KPD on a manually validated dataset, and a field study under Singapore's local context, showing substantial improvements in effectiveness and efficiency compared to state-of-the-art baselines.