AISPA: User-Centric System Prompt Auditing for Large Language Model Applications

📄 arXiv: 2607.28617v1 📥 PDF

作者: Xiangning Lin, Shenzhe Zhu, Shu Yang, Zhenyu Zhang, Haoqian Zhang, Yipeng Zhao, Chengxuan Qian, Tianwei Wang, Ziheng Zhang, Zhenlong Yuan, Dingcheng Wang, Juncheng Wu, Yuan Si, Jiaxin Liu, Baolong Bi, Robert Mahari, Tobin South, Dazza Greenwood, Zexue He, Rishi Bommasani, Sophia Kazinnik, Andreas Haupt, Samuele Marro, Erik Brynjolfsson, Alex Pentland, Jiaxin Pei

分类: cs.AI, cs.CL, cs.CY, cs.HC

发布日期: 2026-07-30

💡 一句话要点

提出AISPA框架以审计大型语言模型应用中的系统提示

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 系统提示 用户保护 AI审计 透明度 标准化 人工智能

📋 核心要点

  1. 现有的系统提示设计缺乏透明度，导致用户对AI系统的信任和问责感不足。
  2. 提出AISPA框架，通过八个维度系统性审计AI系统中的系统提示，评估其对用户的保护程度。
  3. 审计结果显示，尽管保护性指令数量增加，但问题指令仍然普遍存在，亟需改进和标准化。

📝 摘要（中文）

系统提示是开发者配置的指令，用于管理基础模型在AI应用中的行为。尽管这些提示在商业AI产品中广泛使用，但通常不向公众或监管机构披露，导致信任和问责缺失。本文提出了人工智能系统提示保障（AISPA），这是一个以用户为中心的框架，用于系统性审计AI系统中的系统提示。AISPA从用户关心的八个维度评估系统提示的特定部分，并对882个商业AI产品中的3249条指令进行审查，发现保护性指令和问题指令的共存现象，强调了商业AI产品中系统提示透明度、标准化和独立监督的必要性。

🔬 方法详解

问题定义：本文旨在解决商业AI产品中系统提示缺乏透明度和标准化的问题。现有方法未能有效审计和评估系统提示对用户的影响，导致信任缺失。

核心思路：AISPA框架通过系统性审计，评估系统提示的设计和实施，确保其符合用户的保护需求。该框架关注用户关心的多个维度，提供全面的审计视角。

技术框架：AISPA框架包括数据收集、维度评估和分类分析三个主要模块。首先收集系统提示数据，然后根据八个维度进行评估，最后对指令进行分类，识别保护性与问题性指令。

关键创新：AISPA的创新在于其用户中心的审计方法，首次系统性地将用户需求与系统提示设计相结合，填补了现有方法的空白。

关键设计：在评估过程中，采用了定量和定性相结合的分析方法，确保对每个维度的全面覆盖，并通过分类标准明确区分保护性和问题性指令。具体参数设置和分类标准在论文中详细列出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

审计结果显示，98.9%的产品至少包含一条保护性指令，但仅24%覆盖所有八个维度。同时，约40%的产品存在至少一条与用户利益相悖的指令，表明问题指令的普遍性和保护性与问题性指令的共存现象。

🎯 应用场景

AISPA框架在商业AI产品的开发和监管中具有广泛的应用潜力。通过提高系统提示的透明度和标准化，能够增强用户对AI系统的信任，促进更负责任的AI应用。未来，AISPA有望成为行业标准，推动AI技术的健康发展。

📄 摘要（原文）

System prompts are instructions configured by developers to govern the behaviors of foundation models in AI applications. They are used throughout commercial AI products, but are rarely disclosed to the public or regulators, creating a serious trust and accountability gap in the wide deployment of AI systems. In this paper, we introduce Artificial Intelligence System Prompt Assurance (AISPA), a user-centric framework for systematically auditing system prompts in AI systems. AISPA examines specific parts of a system prompt and evaluates them along eight dimensions that matter to users. We then use this framework to review 3,249 instructions from system prompts in 88 commercial AI products, classifying each instruction as either protective (of users) or problematic. Our audit surfaces four core findings. First, system prompt design varies substantially across products and developers, with some organizations averaging over 60 protective instructions per product while others average fewer than 5. Second, protective instructions are widely adopted but shallow in scope: 98.9% of products contain at least one, yet only 24% cover all eight dimensions of the AISPA taxonomy. Third, system prompts have grown steadily longer and more protective of users, suggesting that user protection is becoming a more visible concern in commercial prompt design. Fourth, despite this progress, problematic instructions remain pervasive: roughly 40% of products contain at least one instruction that works against user interests, and protective and problematic instructions frequently coexist within the same prompt. Our findings highlight the need for greater transparency, standardization, and independent oversight for system prompts in commercial AI products.