Health Text Simplification: An Annotated Corpus for Digestive Cancer Education and Novel Strategies for Reinforcement Learning

📄 arXiv: 2401.15043v3 📥 PDF

作者: Md Mushfiqur Rahman, Mohammad Sabik Irbaz, Kai North, Michelle S. Williams, Marcos Zampieri, Kevin Lybarger

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-26 (更新: 2024-11-10)

备注: Published in Journal of Biomedical Informatics, Volume 158, October 2024, 104727

DOI: 10.1016/j.jbi.2024.104727

💡 一句话要点

提出健康文本简化模型以改善癌症教育信息的可理解性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 健康文本简化 癌症教育 强化学习 人类反馈 大型语言模型 文本可读性 公共卫生

📋 核心要点

  1. 现有健康教育材料的复杂性超出多数患者的理解能力，尤其是边缘化群体，亟需改进。
  2. 本研究提出了简化消化癌症（SimpleDC）语料库，并利用大型语言模型探索文本简化的新方法。
  3. 实验结果显示，微调的Llama 2模型在性能上显著提升，创新的RLHF奖励函数有效增强了模型的训练效果。

📝 摘要（中文）

本研究旨在解决健康教育材料的阅读水平对信息理解和可获取性的影响，尤其是对边缘化群体的影响。现有的患者教育资源往往超出广泛接受的阅读水平和复杂性标准，急需高效的文本简化模型以提升信息传播和健康素养。我们引入了简化消化癌症（SimpleDC）平行语料库，并探索了基于大型语言模型的简化方法，包括强化学习（RL）和人类反馈的强化学习（RLHF）。实验结果表明，经过微调的Llama 2模型在多个指标上表现优异，创新的RLHF奖励函数在有效性上超越了现有的RL文本简化奖励函数。

🔬 方法详解

问题定义：本研究旨在解决健康教育材料的复杂性对患者理解的障碍，现有方法在文本简化方面效果有限，尤其是在癌症教育领域。

核心思路：通过引入简化消化癌症（SimpleDC）语料库，结合大型语言模型（LLM）进行文本简化，采用强化学习（RL）和人类反馈的强化学习（RLHF）方法，提升文本的可读性和理解性。

技术框架：整体框架包括数据收集（构建SimpleDC语料库）、模型选择（Llama 2和GPT-4）、训练方法（微调、RL、RLHF）以及评估指标（可读性、理解度等）。

关键创新：引入了一种新的RLHF奖励函数，能够有效区分原始文本与简化文本，提升模型在无标签数据上的训练效果，与现有方法相比具有显著优势。

关键设计：在模型训练中，采用轻量级的奖励模型，设计了特定的损失函数以优化文本简化效果，并进行了多轮实验以验证模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过微调的Llama 2模型在多个性能指标上表现优异，尤其是在可读性和理解度方面。创新的RLHF奖励函数在有效性上超越了现有的RL文本简化奖励函数，证明了RL/RLHF方法在无标签文本训练中的优势。

🎯 应用场景

该研究的潜在应用领域包括癌症教育、公共卫生信息传播及其他健康教育材料的简化。通过提升文本的可读性，能够帮助更多患者理解健康信息，从而提高健康素养，促进疾病预防和早期筛查，最终降低疾病负担。

📄 摘要（原文）

Objective: The reading level of health educational materials significantly influences the understandability and accessibility of the information, particularly for minoritized populations. Many patient educational resources surpass the reading level and complexity of widely accepted standards. There is a critical need for high-performing text simplification models in health information to enhance dissemination and literacy. This need is particularly acute in cancer education, where effective prevention and screening education can substantially reduce morbidity and mortality. Methods: We introduce Simplified Digestive Cancer (SimpleDC), a parallel corpus of cancer education materials tailored for health text simplification research, comprising educational content from the American Cancer Society, Centers for Disease Control and Prevention, and National Cancer Institute. Utilizing SimpleDC alongside the existing Med-EASi corpus, we explore Large Language Model (LLM)-based simplification methods, including fine-tuning, reinforcement learning (RL), reinforcement learning with human feedback (RLHF), domain adaptation, and prompt-based approaches. Our experimentation encompasses Llama 2 and GPT-4. A novel RLHF reward function is introduced, featuring a lightweight model adept at distinguishing between original and simplified texts, thereby enhancing the model's effectiveness with unlabeled data. Results: Fine-tuned Llama 2 models demonstrated high performance across various metrics. Our innovative RLHF reward function surpassed existing RL text simplification reward functions in effectiveness. The results underscore that RL/RLHF can augment fine-tuning, facilitating model training on unlabeled text and improving performance.