Communication Styles and Reader Preferences of LLM and Human Experts in Explaining Health Information

📄 arXiv: 2505.08143v1 📥 PDF

作者: Jiawei Zhou, Kritika Venkatachalam, Minje Choi, Koustuv Saha, Munmun De Choudhury

分类: cs.HC, cs.AI

发布日期: 2025-05-13

💡 一句话要点

研究LLM与人类专家在健康信息解释中的沟通风格差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 健康信息 沟通风格 说服策略 社会价值对齐 事实核查 人类评估

📋 核心要点

  1. 现有研究对LLMs与人类专家在健康信息沟通风格上的差异探讨不足，尤其在说服力和社会价值对齐方面。
  2. 本研究通过分析健康错误信息的解释，比较LLMs与人类专家在信息传递中的沟通风格，旨在填补这一研究空白。
  3. 实验结果显示，尽管LLMs在传统质量指标上得分较低，但读者对其内容的偏好明显，表明其在信息呈现上更具吸引力。

📝 摘要（中文）

随着大型语言模型（LLMs）在信息辅助中的广泛应用，研究其与人类沟通风格和价值观的契合度显得尤为重要。本研究聚焦于健康信息的事实核查，评估LLMs的沟通风格与人类专家在信息、发送者和接收者三个核心组成部分的差异。通过分析1498条健康错误信息的解释，发现LLM生成的内容在说服策略、确定性表达和社会价值对齐方面得分显著较低。然而，参与者对LLM内容的偏好超过60%，认为其在清晰性、完整性和说服力上更具优势。这表明LLMs在信息呈现的结构化方法上可能更有效地吸引读者，尽管在传统质量指标上得分较低。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型（LLMs）在健康信息解释中与人类专家沟通风格不一致的问题，现有方法未能充分探讨其在说服力和社会价值对齐方面的表现。

核心思路：通过分析1498条健康错误信息的解释，比较LLMs与人类专家在信息、发送者和接收者三个维度的沟通风格，以评估其在健康传播中的有效性。

技术框架：研究分为数据收集、LLM生成响应、沟通风格评估和人类评估四个主要模块。数据收集阶段从权威事实核查组织获取健康错误信息，LLM生成阶段则使用预训练模型生成相应解释。

关键创新：本研究的创新点在于系统性地比较LLMs与人类专家在健康信息解释中的沟通风格，特别是在说服策略和社会价值对齐方面的差异，这在现有文献中尚属首次。

关键设计：在评估过程中，采用了多维度的语言特征分析、说服策略评估和价值对齐测量，确保了评估的全面性和准确性。

📊 实验亮点

实验结果显示，LLM生成的健康信息解释在说服策略、确定性表达和社会价值对齐方面得分显著低于人类专家。然而，超过60%的参与者更倾向于LLM生成的内容，认为其在清晰性、完整性和说服力上更具优势，表明LLMs在信息呈现上具有潜在的优势。

🎯 应用场景

该研究的结果对健康信息传播具有重要的实际价值，尤其是在利用LLMs进行健康教育和信息传播时。通过理解LLMs的沟通风格，可以优化其在公众健康领域的应用，提高信息的可理解性和说服力，进而增强公众对健康信息的信任。

📄 摘要（原文）

With the wide adoption of large language models (LLMs) in information assistance, it is essential to examine their alignment with human communication styles and values. We situate this study within the context of fact-checking health information, given the critical challenge of rectifying conceptions and building trust. Recent studies have explored the potential of LLM for health communication, but style differences between LLMs and human experts and associated reader perceptions remain under-explored. In this light, our study evaluates the communication styles of LLMs, focusing on how their explanations differ from those of humans in three core components of health communication: information, sender, and receiver. We compiled a dataset of 1498 health misinformation explanations from authoritative fact-checking organizations and generated LLM responses to inaccurate health information. Drawing from health communication theory, we evaluate communication styles across three key dimensions of information linguistic features, sender persuasive strategies, and receiver value alignments. We further assessed human perceptions through a blinded evaluation with 99 participants. Our findings reveal that LLM-generated articles showed significantly lower scores in persuasive strategies, certainty expressions, and alignment with social values and moral foundations. However, human evaluation demonstrated a strong preference for LLM content, with over 60% responses favoring LLM articles for clarity, completeness, and persuasiveness. Our results suggest that LLMs' structured approach to presenting information may be more effective at engaging readers despite scoring lower on traditional measures of quality in fact-checking and health communication.