On the Prospects of Dynamic LLM Conversations in Software Development
作者: Annemarie Wittig, Alina Mailach, Janet Siegmund, Norbert Siegmund
分类: cs.SE, cs.AI
发布日期: 2026-08-31
💡 一句话要点
通过动态干预提升开发者与LLM的交互质量
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 软件开发 交互质量 用户体验 主动建议 对话增强 教育研究
📋 核心要点
- 现有的LLM交互方式依赖于开发者的提示表达，缺乏有效的支持机制，导致交互质量不稳定。
- 论文提出通过意图感知的对话增强和主动建议等干预措施，来改善开发者与LLM的交互体验。
- 实验结果显示，干预未造成负面影响，且主动干预组的开发者满意度有所提升，表明干预措施的潜在价值。
📝 摘要（中文）
大型语言模型（LLMs）已成为开发者的重要工具，但如何有效支持开发者在开发活动中的交互仍然缺乏研究。本文旨在评估对LLM交互的干预对软件开发者的影响。我们进行了为期四个月的纵向研究，涉及三组计算机科学学生，分别接受不同类型的干预。结果显示，干预未对交互模式产生显著影响，但在主动干预组中观察到满意度提升。这表明，即使是最小的干预措施，也能对开发者与LLM的交互产生可观察的积极效果。
🔬 方法详解
问题定义：本文旨在解决开发者与LLM交互中存在的质量不稳定问题。现有方法往往依赖开发者的提示表达，缺乏有效的支持，导致交互效果不佳。
核心思路：论文的核心思路是通过对话增强和主动建议等干预措施，来改善开发者与LLM的交互体验。这种设计旨在提供更具针对性的支持，帮助开发者更有效地利用LLM。
技术框架：研究采用了纵向研究设计，参与者被分为三组：一组接受意图感知的对话增强，另一组接受主动建议，最后一组为对照组。通过分析交互日志和用户调查数据，评估干预效果。
关键创新：本研究的创新点在于采用了最小干预措施来评估其对交互质量的影响，尤其是在主动干预组中观察到的满意度提升，显示出干预的潜力。与现有方法相比，强调了干预的可行性和有效性。
关键设计：研究中对干预措施进行了精细设计，确保干预的最小化以减少混杂因素，同时关注对开发者交互体验的直接影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，干预措施未对交互模式产生显著负面影响，且主动干预组的开发者满意度有所提升。这一发现为未来更深入的干预研究奠定了基础，表明更强的干预措施可能会显著改善开发者的使用体验。
🎯 应用场景
该研究的潜在应用领域包括软件开发教育、开发工具的设计与优化等。通过提升开发者与LLM的交互质量，可以有效提高开发效率和满意度，未来可能影响开发者使用LLM的方式和习惯。
📄 摘要（原文）
Large language models (LLMs) have become an essential tool for assisting developers, yet we still lack knowledge on ways to effectively support their interactions during development activities. That is, the quality of interactions with a chat-based LLM still strongly depends on how developers phrase prompts and which information they include. Our goal is to evaluate whether interventions into these interactions with LLMs have an effect on software developers---be it harmful or beneficial. To this end, we conducted a four-month longitudinal study with third-semester computer science students working on a full-stack Web development project using chat-based LLMs under three conditions: (1) a \emph{context}-aware group received intent-based conversation augmentation, (2) a \emph{proactive} group received follow-up suggestions and tailored advice, and (3) a \emph{control} group without intervention. Our augmentations are minimal: (i) to reduce confounding factors and (ii) to isolate treatment effects. Analyzing interaction logs and user surveys revealed no major differences in interaction patterns, indicating no detectable harmful effects in the measured outcomes when intervening in interactions. Moreover, we observed trends of increased satisfaction with the \emph{proactive} treatment. The results indicate that even with minimal interventions, dynamic guidance mechanisms for developer-LLM interactions show observable effects, such that more severe augmentations may have the potential to substantially improve developer satisfaction.