User Centric Evaluation of Code Generation Tools
作者: Tanha Miah, Hong Zhu
分类: cs.SE, cs.AI
发布日期: 2024-02-05 (更新: 2024-06-18)
备注: The paper is accepted by IEEE AITest 2024 at IEEE CISOSE 2024 Congress as an invited paper, and will appear in the AITest 2024 Conference Proceedings
💡 一句话要点
提出用户中心评估方法以优化代码生成工具的可用性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码生成 用户体验 机器学习 大型语言模型 软件开发 可用性评估
📋 核心要点
- 现有的LLMs评估方法主要关注其与人类的能力比较，缺乏对可用性的深入分析。
- 本文提出了一种用户中心的评估方法，通过多次尝试和用户体验来衡量LLMs的可用性。
- 实验结果表明，ChatGPT在生成R代码方面表现出色，但在简洁性方面存在不足。
📝 摘要（中文）
随着机器学习技术的快速发展，大型语言模型（LLMs）越来越多地被探索作为从自然语言规范生成程序代码的智能工具。然而，现有对LLMs的评估主要集中在其与人类的能力比较上，缺乏对其在软件生产中可用性的评估。本文提出了一种用户中心的方法，包括在基准测试用例中加入元数据以描述其使用情况，模拟LLMs的使用过程进行多次尝试测试，基于用户体验评估LLM生成解决方案的质量属性。通过对ChatGPT作为R语言代码生成工具的案例研究，实验结果显示ChatGPT在生成R程序代码方面非常有用，尽管在复杂编程任务上可能存在失败。用户体验良好，平均尝试次数为1.61，完成平均时间为47.02秒。
🔬 方法详解
问题定义：本文旨在解决现有LLMs评估方法过于关注能力比较而忽视可用性的问题，缺乏对用户体验的系统评估。
核心思路：提出一种用户中心的评估方法，通过在基准测试中加入元数据和模拟真实使用场景，全面评估LLMs的可用性。
技术框架：整体方法包括元数据描述、模拟多次尝试的测试过程、质量属性测量和用户体验评估四个主要模块。
关键创新：最重要的创新在于引入用户体验作为评估标准，强调了可用性在LLMs应用中的重要性，与传统的能力比较方法形成鲜明对比。
关键设计：在测试中设置了多个质量属性指标，特别关注用户体验的反馈，确保评估结果能够真实反映LLMs在实际应用中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ChatGPT在生成R代码时的平均尝试次数为1.61，平均完成时间为47.02秒，用户体验良好。然而，其在简洁性方面的得分为3.80（满分5分），显示出改进的空间。
🎯 应用场景
该研究的潜在应用领域包括软件开发、教育和自动化编程等。通过优化代码生成工具的可用性，能够提高开发效率，降低学习门槛，促进编程教育的发展，未来可能对软件工程领域产生深远影响。
📄 摘要（原文）
With the rapid advance of machine learning (ML) technology, large language models (LLMs) are increasingly explored as an intelligent tool to generate program code from natural language specifications. However, existing evaluations of LLMs have focused on their capabilities in comparison with humans. It is desirable to evaluate their usability when deciding on whether to use a LLM in software production. This paper proposes a user centric method for this purpose. It includes metadata in the test cases of a benchmark to describe their usages, conducts testing in a multi-attempt process that mimics the uses of LLMs, measures LLM generated solutions on a set of quality attributes that reflect usability, and evaluates the performance based on user experiences in the uses of LLMs as a tool. The paper also reports a case study with the method in the evaluation of ChatGPT's usability as a code generation tool for the R programming language. Our experiments demonstrated that ChatGPT is highly useful for generating R program code although it may fail on hard programming tasks. The user experiences are good with overall average number of attempts being 1.61 and the average time of completion being 47.02 seconds. Our experiments also found that the weakest aspect of usability is conciseness, which has a score of 3.80 out of 5.