AI Does Not Alter Perceptions of Text Messages

📄 arXiv: 2402.01726v2 📥 PDF

作者: N'yoma Diamond

分类: cs.CL, cs.AI, cs.HC

发布日期: 2024-01-27 (更新: 2024-02-07)

💡 一句话要点

探讨AI辅助文本消息对感知的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本消息 AI辅助 用户感知 心理健康 大型语言模型

📋 核心要点

  1. 核心问题：现有研究未探讨AI辅助文本消息撰写对用户感知的影响，可能导致负面情绪。
  2. 方法要点：通过调查参与者对不同文本消息的感知，分析AI辅助信念对其语气、清晰度和意图传达的影响。
  3. 实验或效果：研究发现，参与者对文本消息的感知未因是否使用AI而显著改变，支持LLM的应用潜力。

📝 摘要（中文）

许多人因焦虑、抑郁等社会心理因素在撰写文本消息时面临挑战。尽管大型语言模型（LLMs）可能成为帮助用户的理想工具，但其辅助文本消息撰写的使用尚未得到充分探讨。本文研究了人们对文本消息是否使用AI辅助的信念如何影响其感知的语气、清晰度和意图传达能力。通过对26名参与者对18条随机标记的预先撰写文本消息的感知进行调查，结果显示，参与者对消息的感知并未因信念的不同而显著改变。这为LLM辅助文本消息撰写的实施提供了积极的证据，表明其不会导致反效果。

🔬 方法详解

问题定义：本文旨在解决人们在撰写文本消息时因心理因素而面临的困难，尤其是AI辅助是否会影响消息的感知。现有方法未能充分考虑AI对用户感知的潜在影响。

核心思路：研究通过调查参与者对文本消息的感知，探讨AI辅助信念对消息语气、清晰度和意图传达的影响，验证其是否会导致负面效果。

技术框架：研究设计包括对26名参与者进行调查，使用18条随机标记的预先撰写文本消息，分析参与者的反馈。主要模块包括消息选择、参与者调查和数据分析。

关键创新：本研究的创新在于首次系统性地探讨了AI辅助文本消息对用户感知的影响，填补了该领域的研究空白。与现有方法相比，强调了用户信念对感知的作用。

关键设计：研究采用随机标记的消息样本，确保参与者在评价时不受先入为主的影响，使用定量评分系统评估语气、清晰度和意图传达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，参与者对文本消息的感知在是否使用AI辅助的信念下并未显著改变，提供了统计学上不显著的证据。这表明，LLM辅助的文本消息撰写可以在不引发负面感知的情况下实施，支持其在实际应用中的可行性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体、在线客服和心理健康支持等场景。通过理解AI辅助文本消息的感知影响，可以更好地设计用户友好的文本生成工具，帮助那些在沟通上面临挑战的用户，提升他们的社交能力和心理健康。未来，随着AI技术的发展，可能会进一步推动人机交互的优化。

📄 摘要（原文）

For many people, anxiety, depression, and other social and mental factors can make composing text messages an active challenge. To remedy this problem, large language models (LLMs) may yet prove to be the perfect tool to assist users that would otherwise find texting difficult or stressful. However, despite rapid uptake in LLM usage, considerations for their assistive usage in text message composition have not been explored. A primary concern regarding LLM usage is that poor public sentiment regarding AI introduces the possibility that its usage may harm perceptions of AI-assisted text messages, making usage counter-productive. To (in)validate this possibility, we explore how the belief that a text message did or did not receive AI assistance in composition alters its perceived tone, clarity, and ability to convey intent. In this study, we survey the perceptions of 26 participants on 18 randomly labeled pre-composed text messages. In analyzing the participants' ratings of message tone, clarity, and ability to convey intent, we find that there is no statistically significant evidence that the belief that AI is utilized alters recipient perceptions. This provides hopeful evidence that LLM-based text message composition assistance can be implemented without the risk of counter-productive outcomes.