Security and Privacy Prompts in the Wild: What Users Ask LLMs and How LLMs Respond

📄 arXiv: 2606.18062v1 📥 PDF

作者: Hobin Kim, Xiaoyuan Wu, Omer Akgul, Lujo Bauer, Nicolas Christin

分类: cs.CL, cs.AI, cs.CR, cs.HC

发布日期: 2026-06-16

💡 一句话要点

分析用户向LLM询问安全与隐私问题的响应质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数字安全 隐私保护 用户需求分析 响应质量评估 主题分析 WildChat数据集

📋 核心要点

  1. 现有研究主要集中在专家撰写的S&P误解或常见问题上，缺乏对用户实际询问的分析。
  2. 本研究通过WildChat数据集，识别并分类用户向LLMs提出的S&P问题，填补了这一研究空白。
  3. 实验结果显示，商业LLMs在响应质量上优于开放权重模型，但有时会产生矛盾的回答，影响用户体验。

📝 摘要（中文）

大型语言模型（LLMs）被广泛用于满足用户的信息需求，然而在数字安全与隐私（S&P）领域的研究相对不足。本文基于WildChat数据集，分析了用户向LLMs提出的14,727个S&P问题，并将其分类为九个主题。通过对450个问题的主题分析，研究了用户的咨询需求，并测量了LLMs在回答270个建议性S&P问题时的响应质量。结果表明，商业LLMs在响应质量上优于开放权重模型，但在某些情况下可能会产生矛盾的回答，可能导致用户困惑。

🔬 方法详解

问题定义：本文旨在解决用户在数字安全与隐私领域向大型语言模型（LLMs）提出的问题的响应质量不足的问题。现有方法多依赖于专家撰写的内容，缺乏对用户真实需求的理解。

核心思路：通过分析WildChat数据集中的用户对话，识别和分类用户的S&P问题，从而更好地理解用户需求并评估LLMs的响应质量。

技术框架：研究首先从WildChat数据集中提取用户与LLMs的对话，识别出14,727个S&P问题，并将其分类为九个主题。随后，针对450个问题进行主题分析，并对270个建议性问题的响应质量进行测量。

关键创新：本研究首次系统性地收集和分析用户向LLMs提出的S&P问题，填补了现有文献的空白，并提供了对LLMs响应质量的实证评估。

关键设计：在实验中，针对每个问题向LLMs提出10次请求，以评估响应的一致性和质量，特别关注商业模型与开放权重模型之间的性能差异。实验结果显示，商业模型在98%的情况下提供了“足够好”的响应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，商业LLMs在响应质量上显著优于开放权重模型，GPT 5.5在98%的情况下提供了“足够好”的响应，而Llama 4仅为47%。然而，商业模型在某些情况下会产生矛盾的回答，可能导致用户困惑。

🎯 应用场景

该研究的结果对提升大型语言模型在数字安全与隐私领域的应用具有重要意义。通过理解用户的实际需求，LLMs可以更有效地提供安全建议，帮助用户更好地保护其在线账户和数据安全。未来，这一研究方向可能推动更智能的安全助手和自动化咨询服务的发展。

📄 摘要（原文）

Large language models (LLMs) are widely used to fulfill users' information needs; users ask LLMs about the weather, pose educational questions, and consult them for legal assistance. One particularly understudied area is digital security and privacy (S&P), where users may seek LLMs' help on how to secure their online accounts or protect their computers from cyber attacks. To the best of our knowledge, no prior study has collected or analyzed the S&P questions users ask LLMs; prior research on LLM response quality relied on expert-authored S&P misconceptions or FAQs rather than user queries. Drawing from WildChat, a dataset of 3.2M user-LLM conversations collected in the wild, our study identifies 14,727 S&P prompts and categorizes them into nine categories covering a wide range of S&P topics. From the S&P prompts, we sampled 450 and performed a thematic analysis to characterize the S&P questions users ask LLMs. Separate from the thematic analysis, we curated 270 advice-seeking S&P prompts, where users ask for recommendations, guidance, or specific S&P information. We measured LLM response quality and consistency when posing the prompt to LLMs 10 times. We found that commercial LLMs outperform open-weight models (GPT 5.5 provided "good enough" responses on 98% of prompts; Llama 4 on 47%). However, among prompts that received high-quality responses on average, commercial models sometimes produce contradictory responses across runs, risking confusing or misleading users.