Large Language Model Informed Patent Image Retrieval

📄 arXiv: 2404.19360v1 📥 PDF

作者: Hao-Cheng Lo, Jung-Mei Chu, Jieh Hsiang, Chun-Chieh Cho

分类: cs.CV, cs.CL, cs.IR

发布日期: 2024-04-30

备注: 8 pages. Under review

💡 一句话要点

提出语言信息驱动的多模态方法以解决专利图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 专利检索 多模态学习 图像特征提取 大型语言模型 对比损失 语义理解 深度学习

📋 核心要点

  1. 现有图像检索方法在检索相关先前技术时通用性有限，未能有效解决专利图像的抽象视觉特征和分类分布不均的问题。
  2. 本文提出了一种结合大型语言模型的多模态学习方法，旨在增强专利图像的语义理解，并通过分布感知对比损失改善表现不足类别的检索性能。
  3. 在DeepPatent2数据集上进行的实验显示，所提方法在图像检索任务中显著提升了性能，mAP、Recall@10和MRR@10均有显著提升。

📝 摘要（中文）

在专利申请过程中，基于图像的检索系统对于识别当前专利图像与先前技术的相似性至关重要，以确保专利申请的新颖性和非显而易见性。尽管现有方法在同一专利内的图像识别上有效，但由于其在检索相关先前技术时的通用性有限，未能提供实际价值。本文提出了一种语言信息驱动、分布感知的多模态专利图像特征学习方法，通过整合大型语言模型丰富专利图像的语义理解，并利用分布感知对比损失改善表现不足类别的性能。在DeepPatent2数据集上的广泛实验表明，所提方法在基于图像的专利检索中实现了最先进或可比的性能，mAP提升53.3%，Recall@10提升41.8%，MRR@10提升51.9%。

🔬 方法详解

问题定义：本文旨在解决专利图像检索中存在的通用性不足的问题，尤其是在检索相关先前技术时，现有方法难以处理专利图像的抽象视觉特征和分类分布不均的挑战。

核心思路：提出了一种语言信息驱动的多模态学习方法，通过整合大型语言模型来增强图像的语义理解，同时引入分布感知对比损失来改善表现不足类别的性能。

技术框架：整体架构包括图像特征提取模块、语言模型集成模块和分布感知对比损失模块。首先提取图像特征，然后通过语言模型增强图像的语义信息，最后利用对比损失优化模型性能。

关键创新：最重要的创新点在于结合了大型语言模型与图像特征学习，形成了一种新的多模态学习框架，显著提升了对表现不足类别的检索能力。

关键设计：在损失函数设计上，采用了分布感知对比损失，以便更好地处理类别不均衡问题，同时在网络结构上，采用了深度卷积神经网络（CNN）进行图像特征提取，确保了特征的丰富性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在DeepPatent2数据集上实现了mAP提升53.3%，Recall@10提升41.8%，MRR@10提升51.9%，在图像检索任务中达到了最先进或可比的性能，展现了显著的效果提升。

🎯 应用场景

该研究的潜在应用领域包括专利检索、知识产权保护和技术创新等。通过提高专利图像检索的准确性和效率，能够帮助专利专业人士更好地进行技术评估和创新分析，具有重要的实际价值和未来影响。

📄 摘要（原文）

In patent prosecution, image-based retrieval systems for identifying similarities between current patent images and prior art are pivotal to ensure the novelty and non-obviousness of patent applications. Despite their growing popularity in recent years, existing attempts, while effective at recognizing images within the same patent, fail to deliver practical value due to their limited generalizability in retrieving relevant prior art. Moreover, this task inherently involves the challenges posed by the abstract visual features of patent images, the skewed distribution of image classifications, and the semantic information of image descriptions. Therefore, we propose a language-informed, distribution-aware multimodal approach to patent image feature learning, which enriches the semantic understanding of patent image by integrating Large Language Models and improves the performance of underrepresented classes with our proposed distribution-aware contrastive losses. Extensive experiments on DeepPatent2 dataset show that our proposed method achieves state-of-the-art or comparable performance in image-based patent retrieval with mAP +53.3%, Recall@10 +41.8%, and MRR@10 +51.9%. Furthermore, through an in-depth user analysis, we explore our model in aiding patent professionals in their image retrieval efforts, highlighting the model's real-world applicability and effectiveness.