ChatGPT-3.5, ChatGPT-4, Google Bard, and Microsoft Bing to Improve Health Literacy and Communication in Pediatric Populations and Beyond
作者: Kanhai S. Amin, Linda Mayes, Pavan Khosla, Rushabh Doshi
分类: cs.CL, cs.AI
发布日期: 2023-11-16
备注: 15 pages, 1 Table, 3 Figures, and 3 Supplemental Figures
💡 一句话要点
利用大型语言模型提升儿童及其他人群的健康素养
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 健康素养 大型语言模型 儿童教育 健康沟通 自然语言处理
📋 核心要点
- 现有健康素养提升干预措施较少，且缺乏有效的工具来满足不同年龄段的需求。
- 本研究通过测试多种大型语言模型，探索其在生成适合不同阅读年级健康信息方面的能力。
- 实验结果显示，ChatGPT系列模型在低年级输出方面表现优异，而Bard和Bing则倾向于生成高年级水平的内容。
📝 摘要（中文）
本研究旨在探讨大型语言模型（LLMs）在提升儿童及其他人群健康素养方面的潜力。通过对ChatGPT-3.5、ChatGPT-4、Microsoft Bing和Google Bard进行288种不同提示的测试，结果显示这些模型在生成健康信息时的阅读年级水平（RGL）普遍较高。尽管LLMs在低年级输出方面存在挑战，但它们在高年级输出的灵活性为改善健康沟通提供了可能的途径。未来的研究应验证这些工具在健康信息传递中的准确性和有效性。
🔬 方法详解
问题定义：本研究旨在解决儿童及其他人群健康素养不足的问题，现有方法缺乏有效的干预工具，尤其是在低年级阅读水平的健康信息生成方面存在挑战。
核心思路：研究通过使用大型语言模型（LLMs）作为生成健康信息的工具，探索其在不同阅读年级水平下的表现，以期提升健康素养。
技术框架：整体流程包括使用26种不同提示对ChatGPT-3.5、Microsoft Bing和Google Bard进行测试，随后在ChatGPT-4上测试150种条件，主要测量输出的阅读年级水平和字数。
关键创新：本研究的创新点在于系统性地评估多种大型语言模型在健康信息生成中的适应性，尤其是在不同阅读年级水平的输出能力上，填补了现有研究的空白。
关键设计：在实验中，使用了多种提示以覆盖从1到12年级的阅读水平，重点关注模型输出的RGL和字数，确保评估的全面性和准确性。实验设计考虑了模型的输出限制和响应能力。
📊 实验亮点
实验结果显示，ChatGPT-3.5和ChatGPT-4在生成低年级阅读水平的健康信息方面表现优异，分别能输出7至大学新生和6至大学高年级的内容。而Bing和Bard则主要生成高年级水平的内容，显示出不同模型在健康信息生成上的能力差异。
🎯 应用场景
该研究的成果可广泛应用于医疗健康领域，尤其是在儿童健康教育、公共卫生宣传和患者教育等方面。通过利用大型语言模型生成易于理解的健康信息，能够有效提升不同人群的健康素养，促进健康行为的改善。
📄 摘要（原文）
Purpose: Enhanced health literacy has been linked to better health outcomes; however, few interventions have been studied. We investigate whether large language models (LLMs) can serve as a medium to improve health literacy in children and other populations. Methods: We ran 288 conditions using 26 different prompts through ChatGPT-3.5, Microsoft Bing, and Google Bard. Given constraints imposed by rate limits, we tested a subset of 150 conditions through ChatGPT-4. The primary outcome measurements were the reading grade level (RGL) and word counts of output. Results: Across all models, output for basic prompts such as "Explain" and "What is (are)" were at, or exceeded, a 10th-grade RGL. When prompts were specified to explain conditions from the 1st to 12th RGL, we found that LLMs had varying abilities to tailor responses based on RGL. ChatGPT-3.5 provided responses that ranged from the 7th-grade to college freshmen RGL while ChatGPT-4 outputted responses from the 6th-grade to the college-senior RGL. Microsoft Bing provided responses from the 9th to 11th RGL while Google Bard provided responses from the 7th to 10th RGL. Discussion: ChatGPT-3.5 and ChatGPT-4 did better in achieving lower-grade level outputs. Meanwhile Bard and Bing tended to consistently produce an RGL that is at the high school level regardless of prompt. Additionally, Bard's hesitancy in providing certain outputs indicates a cautious approach towards health information. LLMs demonstrate promise in enhancing health communication, but future research should verify the accuracy and effectiveness of such tools in this context. Implications: LLMs face challenges in crafting outputs below a sixth-grade reading level. However, their capability to modify outputs above this threshold provides a potential mechanism to improve health literacy and communication in a pediatric population and beyond.