Distilling Large Language Models using Skill-Occupation Graph Context for HR-Related Tasks

📄 arXiv: 2311.06383v1 📥 PDF

作者: Pouya Pezeshkpour, Hayate Iso, Thom Lake, Nikita Bhutani, Estevam Hruschka

分类: cs.CL, cs.LG

发布日期: 2023-11-10

💡 一句话要点

提出RJDB基准以解决HR任务中的模型能力不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 简历匹配 职位描述 知识蒸馏 人力资源 自然语言处理 技能提取 小型模型 基准测试

📋 核心要点

  1. 现有HR任务缺乏全面的基准，导致大型语言模型的实际应用受到限制。
  2. 本文提出简历-职位描述基准（RJDB），通过从大型语言模型中提取知识，支持多种HR任务。
  3. 实验结果显示，使用RJDB训练的小型模型在性能上接近或超过了GPT-4，验证了基准的有效性。

📝 摘要（中文）

许多HR应用围绕简历和职位描述展开，尽管自然语言处理的进步，尤其是大型语言模型的应用，面临缺乏全面基准和小型模型能力不足的挑战。本文旨在通过引入简历-职位描述基准（RJDB）来填补这一空白。RJDB专为多种HR任务设计，包括简历与职位描述的匹配与解释、从简历中提取技能和经验以及简历编辑。我们通过从大型语言模型中提取领域特定知识，并依赖精心策划的技能-职业图谱来确保多样性和上下文。实验表明，使用RJDB训练的小型模型在性能上接近或优于教师模型（GPT-4），验证了基准的有效性。我们还探讨了RJDB在零样本和弱监督条件下的技能提取和匹配能力，并发布数据集和代码以促进进一步研究和行业应用。

🔬 方法详解

问题定义：本文旨在解决HR领域中缺乏有效基准和小型模型能力不足的问题，现有方法在简历与职位描述的匹配、技能提取等任务上表现不佳。

核心思路：通过引入简历-职位描述基准（RJDB），并利用大型语言模型的知识蒸馏，提升小型模型在HR任务中的表现。设计中结合了技能-职业图谱，以确保生成内容的多样性和上下文相关性。

技术框架：整体架构包括数据集构建、知识蒸馏和模型训练三个主要阶段。首先，构建RJDB基准数据集；其次，从大型语言模型中提取知识；最后，训练多个小型学生模型。

关键创新：最重要的创新在于提出了RJDB基准，专门针对HR任务设计，并通过技能-职业图谱提供上下文支持，显著提升了小型模型的性能。

关键设计：在模型训练中，采用了特定的损失函数和参数设置，以优化简历与职位描述的匹配效果，并确保模型在零样本和弱监督条件下的有效性。实验中使用了超过五万个职位描述与简历的三元组。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用RJDB训练的小型模型在多个HR任务上表现出色，性能接近或超过了GPT-4，验证了基准的有效性和实用性。具体而言，学生模型在简历匹配和技能提取任务中表现出显著的提升，展示了知识蒸馏的潜力。

🎯 应用场景

该研究的潜在应用领域包括人力资源管理、招聘系统和职业发展平台。通过提供有效的简历匹配和技能提取工具，RJDB可以显著提高招聘效率和候选人匹配质量，推动HR领域的智能化发展。

📄 摘要（原文）

Numerous HR applications are centered around resumes and job descriptions. While they can benefit from advancements in NLP, particularly large language models, their real-world adoption faces challenges due to absence of comprehensive benchmarks for various HR tasks, and lack of smaller models with competitive capabilities. In this paper, we aim to bridge this gap by introducing the Resume-Job Description Benchmark (RJDB). We meticulously craft this benchmark to cater to a wide array of HR tasks, including matching and explaining resumes to job descriptions, extracting skills and experiences from resumes, and editing resumes. To create this benchmark, we propose to distill domain-specific knowledge from a large language model (LLM). We rely on a curated skill-occupation graph to ensure diversity and provide context for LLMs generation. Our benchmark includes over 50 thousand triples of job descriptions, matched resumes and unmatched resumes. Using RJDB, we train multiple smaller student models. Our experiments reveal that the student models achieve near/better performance than the teacher model (GPT-4), affirming the effectiveness of the benchmark. Additionally, we explore the utility of RJDB on out-of-distribution data for skill extraction and resume-job description matching, in zero-shot and weak supervision manner. We release our datasets and code to foster further research and industry applications.