Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code
作者: Victoria Basmov, Yoav Goldberg, Reut Tsarfaty
分类: cs.CL
发布日期: 2026-08-13
期刊: Proc. of the 20th Linguistic Annotation Workshop (LAW XX), pp. 257-308, 2026
DOI: 10.18653/v1/2026.law-main.19
🔗 代码/项目: GITHUB
💡 一句话要点
提出结构化本体以分析代码中的事务性提示
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成性语言模型 提示分析 结构化本体 数据集 自然语言处理 软件开发 人机交互
📋 核心要点
- 现有的生成性语言模型对提示的依赖性强，但缺乏对提示本身的系统分析和理解。
- 论文提出了一种结构化本体，旨在将提示从非结构化文本转化为丰富的结构化语言对象，以便进行定量研究。
- 通过对57.5K个提示样本的分析，发现提示在使用模式上存在显著多样性，且注释质量得到了验证。
📝 摘要（中文）
本文探讨了当代生成性大型语言模型（LLMs）中提示的作用，认为提示作为语言对象值得深入研究。作者从GitHub收集了57.5K个独特的事务性提示样本，提出了一种结构化本体以捕捉提示的属性及其形式和语义组件。通过对这些结构化数据的分析，揭示了不同语言、领域、任务和模态下的使用模式多样性，并进行了全面的错误分析以验证注释质量。研究结果和数据集已公开，提供了浏览和探索接口。
🔬 方法详解
问题定义：本文旨在解决当前生成性语言模型对提示的理解不足，现有方法未能系统分析提示的结构和使用模式。
核心思路：通过构建结构化本体，将提示从非结构化文本转化为可分析的语言对象，促进对提示的定量研究和理解。
技术框架：研究流程包括数据收集、结构化本体构建、提示转化和使用模式分析，主要模块包括数据预处理、注释和分析。
关键创新：提出的结构化本体是对提示的系统性分析工具，显著提升了对提示多样性和使用模式的理解，与传统方法相比，提供了更深入的分析视角。
关键设计：在本体构建中，定义了提示的形式和语义组件，采用了定量分析方法，确保了注释的一致性和准确性。具体参数设置和注释标准在论文中详细描述。
🖼️ 关键图片
📊 实验亮点
通过对57.5K个提示样本的分析，研究揭示了提示在不同语言和任务中的使用模式多样性，且在注释质量上进行了全面的错误分析，确保了数据的可靠性。该研究为提示的系统性研究提供了基础。
🎯 应用场景
该研究的潜在应用领域包括软件开发、自动化测试和人机交互等。通过对提示的深入理解，可以优化生成性模型的性能，提高代码生成和自动化任务的效率，未来可能对开发工具和智能助手产生深远影响。
📄 摘要（原文）
The behavior of contemporary generative Large Language Models (LLMs) is directly shaped by prompts, unstructured texts that describe the desired output and model behavior. In this paper we argue that prompts are linguistic objects that merit investigation in their own right. To this end, we collect 57.5K unique samples of prompts from GitHub. Specifically, we focus on transactional prompts: reproducible natural language instructions that are integrated into software. To enable the empirical, quantitative study of prompts, we introduce a structured ontology, capturing the properties of prompts as well as their formal and semantic components. Based on this ontology, we transform prompts from unstructured raw texts into richly structured linguistic objects. Analysis of these structured data reveals significant diversity of usage patterns across languages, domains, tasks, and modalities, in a typical Zipf-like distribution where some clearly prevail and others, more diverse, appear in the long tail. To validate the reliability of the ontology-based annotation of the prompts, we perform a comprehensive error analysis across all fields, providing a detailed assessment of annotation quality. We release the dataset together with a browsing and exploration interface (https://github.com/OnlpLab/transactionalPromptsCollection ).