Deep Learning Based Named Entity Recognition Models for Recipes
作者: Mansi Goel, Ayush Agarwal, Shubham Agrawal, Janak Kapuriya, Akhil Vamshi Konam, Rishabh Gupta, Shrey Rastogi, Niharika, Ganesh Bagler
分类: cs.CL, cs.AI, cs.IR
发布日期: 2024-02-27 (更新: 2024-06-06)
备注: 13 pages, 6 main figures and 2 in appendices, and 3 main tables; Accepted for publication in LREC-COLING 2024
💡 一句话要点
提出基于深度学习的命名实体识别模型以解析食谱文本
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 命名实体识别 深度学习 食谱文本 数据增强 模型微调 自然语言处理 信息提取
📋 核心要点
- 现有的命名实体识别方法在处理食谱文本时缺乏针对性，导致识别效果不佳。
- 本文提出了一种基于深度学习的NER模型，通过构建多样化的数据集来提升识别准确性。
- 实验结果表明，微调后的spaCy-transformer模型在多个数据集上表现优异，宏F1分数超过95%。
📝 摘要（中文）
食物通过风味、营养、健康和可持续性等多种方式影响我们的生活。食谱作为文化的载体，通过非结构化文本代代相传。自动化识别食谱文本中的命名实体，对于信息提取和新食谱生成等应用具有重要价值。本文从6611个成分短语的人工标注数据出发，构建了26445个短语的增强数据集，并对RecipeDB中的成分短语进行了系统清理和分析。通过聚类方法，从中抽样出88526个短语，创建了机器标注的数据集。对这三个数据集的NER方法进行了深入研究，发现经过微调的spaCy-transformer模型在手动标注、增强和机器标注数据集上的宏F1分数分别为95.9%、96.04%和95.71%。
🔬 方法详解
问题定义：本文旨在解决食谱文本中命名实体识别的准确性问题。现有方法在处理非结构化数据时，往往无法有效提取关键成分信息，影响了后续的应用效果。
核心思路：通过构建多样化的成分短语数据集，结合深度学习模型进行微调，以提高命名实体识别的准确性和鲁棒性。
技术框架：整体流程包括数据收集与清理、数据增强、模型训练与微调，以及性能评估。主要模块包括数据标注、聚类抽样和NER模型训练。
关键创新：最重要的创新在于通过聚类方法生成多样化的机器标注数据集，从而提升了模型的泛化能力和识别精度。与传统方法相比，本文的方法在数据集构建和模型微调上具有显著优势。
关键设计：在模型训练中，采用了spaCy-transformer作为基础架构，并进行了超参数优化，以确保在不同数据集上的最佳表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过微调的spaCy-transformer模型在手动标注、增强和机器标注数据集上的宏F1分数分别达到95.9%、96.04%和95.71%，显著优于其他方法，验证了该模型在食谱文本处理中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能食谱推荐、食品营养分析和自动化烹饪助手等。通过准确识别食谱中的成分，能够为用户提供个性化的饮食建议，提升烹饪体验，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Food touches our lives through various endeavors, including flavor, nourishment, health, and sustainability. Recipes are cultural capsules transmitted across generations via unstructured text. Automated protocols for recognizing named entities, the building blocks of recipe text, are of immense value for various applications ranging from information extraction to novel recipe generation. Named entity recognition is a technique for extracting information from unstructured or semi-structured data with known labels. Starting with manually-annotated data of 6,611 ingredient phrases, we created an augmented dataset of 26,445 phrases cumulatively. Simultaneously, we systematically cleaned and analyzed ingredient phrases from RecipeDB, the gold-standard recipe data repository, and annotated them using the Stanford NER. Based on the analysis, we sampled a subset of 88,526 phrases using a clustering-based approach while preserving the diversity to create the machine-annotated dataset. A thorough investigation of NER approaches on these three datasets involving statistical, fine-tuning of deep learning-based language models and few-shot prompting on large language models (LLMs) provides deep insights. We conclude that few-shot prompting on LLMs has abysmal performance, whereas the fine-tuned spaCy-transformer emerges as the best model with macro-F1 scores of 95.9%, 96.04%, and 95.71% for the manually-annotated, augmented, and machine-annotated datasets, respectively.