Integrating Physician Diagnostic Logic into Large Language Models: Preference Learning from Process Feedback

📄 arXiv: 2401.05695v2 📥 PDF

作者: Chengfeng Dou, Zhi Jin, Wenpin Jiao, Haiyan Zhao, Yongqiang Zhao, Zhenwei Tao

分类: cs.CL

发布日期: 2024-01-11 (更新: 2024-08-03)

备注: Accepted by ACL2024 Findings

💡 一句话要点

提出偏好学习方法以解决医疗对话中的逻辑一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗对话生成 大型语言模型 偏好学习 诊断逻辑 多轮对话 强化学习 过程反馈

📋 核心要点

  1. 现有方法在多轮医疗对话中存在逻辑不一致的问题，影响了模型的实用性和准确性。
  2. 本文提出的PLPF方法通过整合医生的诊断逻辑，利用过程反馈进行偏好学习，从而提升模型的对话能力。
  3. 实验结果显示，PLPF在医疗对话中的诊断准确率提升了17.6%，超越了传统的人类反馈强化学习方法。

📝 摘要（中文）

大型语言模型在医疗对话生成中的应用引起了广泛关注，尤其是在提高响应质量和流畅性方面。尽管以往研究在单轮医疗问答任务上取得了一定进展，但在多轮对话中仍需增强模型的逻辑一致性。为此，本文提出了一种名为过程反馈偏好学习（PLPF）的方法，将医生的诊断逻辑融入大型语言模型中。PLPF通过规则建模、偏好数据生成和偏好对齐来训练模型遵循诊断过程。实验结果表明，PLPF在医疗对话中提高了基线模型的诊断准确率17.6%，并在多轮和单轮对话任务中均表现出色，展示了其在医疗对话生成中的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多轮医疗对话中逻辑不一致的问题，现有方法在此方面表现不足，导致对话质量下降。

核心思路：PLPF方法通过将医生的诊断逻辑融入模型，利用过程反馈进行偏好学习，确保模型在对话中遵循合理的诊断流程。

技术框架：PLPF的整体架构包括三个主要模块：规则建模、偏好数据生成和偏好对齐。规则建模用于提取医生的诊断逻辑，偏好数据生成则基于这些规则生成训练数据，最后通过偏好对齐训练模型。

关键创新：PLPF的核心创新在于将医生的专业知识系统化并融入模型训练中，与传统的强化学习方法相比，PLPF更注重逻辑一致性和实际诊断过程的模拟。

关键设计：在模型训练中，设计了特定的损失函数以优化偏好对齐效果，同时采用了适应性学习率和多轮对话策略，以提高模型在复杂对话场景中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PLPF方法在医疗对话中的诊断准确率提高了17.6%，显著优于传统的基于人类反馈的强化学习方法，展示了其在多轮和单轮对话任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗咨询、智能问诊系统和远程医疗服务等。通过提高对话生成的逻辑一致性和准确性，PLPF能够为医生提供更有效的辅助决策工具，提升患者的就医体验，并在未来推动医疗人工智能的发展。

📄 摘要（原文）

The use of large language models in medical dialogue generation has garnered significant attention, with a focus on improving response quality and fluency. While previous studies have made progress in optimizing model performance for single-round medical Q&A tasks, there is a need to enhance the model's capability for multi-round conversations to avoid logical inconsistencies. To address this, we propose an approach called preference learning from process feedback~(PLPF), which integrates the doctor's diagnostic logic into LLMs. PLPF involves rule modeling, preference data generation, and preference alignment to train the model to adhere to the diagnostic process. Experimental results using Standardized Patient Testing show that PLPF enhances the diagnostic accuracy of the baseline model in medical conversations by 17.6%, outperforming traditional reinforcement learning from human feedback. Additionally, PLPF demonstrates effectiveness in both multi-round and single-round dialogue tasks, showcasing its potential for improving medical dialogue generation.