Word Definitions from Large Language Models

📄 arXiv: 2311.06362v3 📥 PDF

作者: Bach Pham, JuiHsuan Wong, Samuel Kim, Yunting Yin, Steven Skiena

分类: cs.CL

发布日期: 2023-11-10 (更新: 2025-01-06)

备注: Accepted to IEEE ICSC 2025

期刊: 2025 19th International Conference on Semantic Computing (ICSC)

DOI: 10.1109/ICSC64641.2025.00028

💡 一句话要点

比较传统词典与ChatGPT生成定义的准确性与一致性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 词义定义 生成模型 ChatGPT 词典比较

📋 核心要点

  1. 传统词典在词义定义上存在一致性不足的问题，尤其在与新兴生成模型的比较中。
  2. 本文通过对比三本传统词典与ChatGPT生成的定义，探讨其准确性和一致性。
  3. 实验结果显示，ChatGPT生成的定义在准确性上与传统词典相当，且在低频词汇上表现更佳。

📝 摘要（中文）

词典定义历史上是词义的权威，但随着自然语言处理（NLP）的进步，这一地位受到挑战。本文探讨了传统词典与ChatGPT等新型生成模型之间的定义一致性。研究表明，不同传统词典的定义在表面形式上更为相似，而ChatGPT生成的定义在准确性上与传统词典相当，且在低频词汇上的表现优于GloVE和FastText词嵌入。

🔬 方法详解

问题定义：本文旨在解决传统词典与现代生成模型（如ChatGPT）在词义定义上的一致性和准确性问题。现有方法在低频词汇的定义准确性上存在不足。

核心思路：通过比较传统词典与ChatGPT生成的定义，评估其在表面形式和准确性上的差异，探讨新模型在词义定义中的潜力。

技术框架：研究采用对比分析的方法，选取三本传统词典的定义与ChatGPT生成的定义进行系统比较，分析其相似性和准确性。

关键创新：本研究的创新在于首次系统性地比较传统词典与生成模型的定义，揭示了生成模型在低频词汇上的优势。

关键设计：在实验中，采用了多种评估指标来衡量定义的准确性和相似性，特别关注低频词汇的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ChatGPT生成的定义在准确性上与传统词典相当，且在低频词汇的定义准确性上明显优于GloVE和FastText，表明生成模型在词义定义方面的潜力。

🎯 应用场景

该研究的潜在应用领域包括教育、语言学习和自然语言处理工具的开发。通过提高词义定义的准确性，可以帮助学习者更好地理解和使用语言，同时为语言模型的进一步优化提供理论支持。

📄 摘要（原文）

Dictionary definitions are historically the arbitrator of what words mean, but this primacy has come under threat by recent progress in NLP, including word embeddings and generative models like ChatGPT. We present an exploratory study of the degree of alignment between word definitions from classical dictionaries and these newer computational artifacts. Specifically, we compare definitions from three published dictionaries to those generated from variants of ChatGPT. We show that (i) definitions from different traditional dictionaries exhibit more surface form similarity than do model-generated definitions, (ii) that the ChatGPT definitions are highly accurate, comparable to traditional dictionaries, and (iii) ChatGPT-based embedding definitions retain their accuracy even on low frequency words, much better than GloVE and FastText word embeddings.