Shaping Human-AI Collaboration: Varied Scaffolding Levels in Co-writing with Language Models
作者: Paramveer S. Dhillon, Somayeh Molaei, Jiaqi Li, Maximilian Golub, Shaochun Zheng, Lionel P. Robert
分类: cs.HC, cs.CL
发布日期: 2024-02-18
备注: Appearing at CHI 2024 (Honolulu, HI)
💡 一句话要点
探讨不同支架水平对人机协作写作的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机协作 语言模型 写作辅助 支架理论 用户体验 实验研究 写作质量 生产力提升
📋 核心要点
- 现有的写作辅助工具在提升写作质量和生产力方面存在局限，尤其是对不同用户的适应性不足。
- 本文提出通过不同支架水平的AI辅助，优化人机协作写作过程，探索其对写作质量和用户体验的影响。
- 实验结果表明，高支架条件下写作质量和生产力显著提高，尤其对非定期写作者和技术不熟练者的帮助最为明显。
📝 摘要（中文）
随着语言模型的进步，新的人工智能与人类协作写作体验应运而生。本文研究了大型语言模型（LLMs）提供的不同支架水平如何影响协作写作过程。通过拉丁方设计的现场实验，参与者在三种随机顺序的条件下（无AI辅助、下一句建议和下一段建议）响应论证写作提示。研究发现，支架对写作质量和生产力的影响呈U型，低支架未显著提高写作质量或生产力，而高支架则显著改善，尤其对非定期写作者和技术不熟练的用户有益。使用支架写作工具时未观察到显著的认知负担，但文本拥有感和满意度有所下降。研究结果对AI驱动的写作工具设计具有广泛的启示，强调个性化支架机制的必要性。
🔬 方法详解
问题定义：本文旨在解决现有写作辅助工具对不同用户需求适应性不足的问题，尤其是如何有效提升写作质量和生产力。
核心思路：通过设计不同支架水平的AI辅助，探索其对写作过程的影响，特别是如何在不增加认知负担的情况下提升用户体验。
技术框架：研究采用拉丁方设计的现场实验，参与者在三种条件下进行写作：无AI辅助、下一句建议（低支架）、下一段建议（高支架）。每种条件随机序列化，以确保结果的可靠性。
关键创新：本研究的创新点在于系统性地比较不同支架水平对写作质量和生产力的影响，揭示了支架的U型效应，尤其是高支架对特定用户群体的显著益处。
关键设计：实验中对参与者的写作质量和生产力进行量化评估，使用标准化的写作提示和评分标准，确保数据的客观性和可比性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，高支架条件下，写作质量和生产力显著提高，尤其是非定期写作者和技术不熟练者的表现改善明显。低支架条件未能显著提升写作效果，表明支架水平的选择对用户体验至关重要。
🎯 应用场景
该研究的潜在应用领域包括教育、内容创作和专业写作等，能够为AI驱动的写作工具设计提供理论依据，帮助开发更具个性化和适应性的写作辅助系统，提升用户的写作体验和效率。
📄 摘要（原文）
Advances in language modeling have paved the way for novel human-AI co-writing experiences. This paper explores how varying levels of scaffolding from large language models (LLMs) shape the co-writing process. Employing a within-subjects field experiment with a Latin square design, we asked participants (N=131) to respond to argumentative writing prompts under three randomly sequenced conditions: no AI assistance (control), next-sentence suggestions (low scaffolding), and next-paragraph suggestions (high scaffolding). Our findings reveal a U-shaped impact of scaffolding on writing quality and productivity (words/time). While low scaffolding did not significantly improve writing quality or productivity, high scaffolding led to significant improvements, especially benefiting non-regular writers and less tech-savvy users. No significant cognitive burden was observed while using the scaffolded writing tools, but a moderate decrease in text ownership and satisfaction was noted. Our results have broad implications for the design of AI-powered writing tools, including the need for personalized scaffolding mechanisms.