Ask the experts: sourcing high-quality datasets for nutritional counselling through Human-AI collaboration
作者: Simone Balloccu, Ehud Reiter, Vivek Kumar, Diego Reforgiato Recupero, Daniele Riboni
分类: cs.CL
发布日期: 2024-01-16
💡 一句话要点
通过人机协作提出高质量营养咨询数据集的构建方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 营养咨询 数据集构建 人机协作 大型语言模型 众包 专家注释 文本生成
📋 核心要点
- 营养咨询领域缺乏公共资源，现有方法难以提供高质量的数据支持。
- 通过结合众包、专家和大型语言模型，提出了一种新颖的数据集构建方法。
- 研究发布的HAI-coaching数据集包含2400个饮食问题和97000个支持文本，显示出生成文本的流畅性与潜在风险。
📝 摘要（中文）
大型语言模型（LLMs）在缺乏可用语料的领域中具有强大的数据生成能力，但幻觉和偏见等问题限制了其应用。本文以营养咨询为案例，展示了如何通过结合LLMs、众包工人和营养专家来收集高质量数据集。研究首先众包并聚类了饮食相关问题的新数据集，然后与专家合作，利用ChatGPT生成相关的支持文本，最后由专家评估生成文本的安全性。研究发布了HAI-coaching，这是第一个专家注释的营养咨询数据集，包含约2400个来自众包工人的饮食问题和约97000个由ChatGPT生成的相关支持文本。分析表明，尽管ChatGPT生成的文本流畅且人性化，但在敏感话题（如心理健康）上表现出有害行为，因而不适合无监督使用。
🔬 方法详解
问题定义：本文旨在解决营养咨询领域缺乏高质量数据集的问题。现有方法无法有效收集和生成相关数据，导致营养咨询的研究和实践受到限制。
核心思路：通过结合众包工人、营养专家和大型语言模型（如ChatGPT），构建一个高质量的营养咨询数据集。此方法利用众包的广泛性和专家的专业性，确保数据的多样性和准确性。
技术框架：整体流程包括三个主要阶段：首先，众包收集并聚类饮食相关问题；其次，与营养专家合作，利用ChatGPT生成支持文本；最后，由专家评估生成文本的安全性和适用性。
关键创新：本研究的创新点在于首次将人机协作应用于营养咨询数据集的构建，克服了传统方法的局限性，提供了一个专家注释的高质量数据集。
关键设计：在数据收集阶段，采用了有效的聚类算法以确保问题的多样性；在生成文本阶段，设计了特定的提示以引导ChatGPT生成相关内容；在评估阶段，专家的反馈机制确保了生成文本的安全性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，HAI-coaching数据集包含约2400个饮食问题和97000个支持文本，ChatGPT生成的文本在流畅性和人性化方面表现优异。然而，在处理敏感话题时，ChatGPT也表现出有害行为，提示在无监督使用时需谨慎。
🎯 应用场景
该研究的潜在应用领域包括营养咨询、健康教育和个性化饮食建议等。通过提供高质量的数据集，能够支持相关领域的研究和应用，促进营养科学的发展，并为未来的AI驱动健康管理提供基础。
📄 摘要（原文）
Large Language Models (LLMs), with their flexible generation abilities, can be powerful data sources in domains with few or no available corpora. However, problems like hallucinations and biases limit such applications. In this case study, we pick nutrition counselling, a domain lacking any public resource, and show that high-quality datasets can be gathered by combining LLMs, crowd-workers and nutrition experts. We first crowd-source and cluster a novel dataset of diet-related issues, then work with experts to prompt ChatGPT into producing related supportive text. Finally, we let the experts evaluate the safety of the generated text. We release HAI-coaching, the first expert-annotated nutrition counselling dataset containing ~2.4K dietary struggles from crowd workers, and ~97K related supportive texts generated by ChatGPT. Extensive analysis shows that ChatGPT while producing highly fluent and human-like text, also manifests harmful behaviours, especially in sensitive topics like mental health, making it unsuitable for unsupervised use.