Automating Governing Knowledge Commons and Contextual Integrity (GKC-CI) Privacy Policy Annotations with Large Language Models

📄 arXiv: 2311.02192v3 📥 PDF

作者: Jake Chanenson, Madison Pickering, Noah Apthorpe

分类: cs.CY, cs.CL, cs.LG

发布日期: 2023-11-03 (更新: 2024-12-10)

备注: 29 pages, 18 figures, 11 tables; camera-ready version

DOI: 10.56553/popets-2025-0062

💡 一句话要点

利用大语言模型自动化隐私政策的GKC-CI注释

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私政策 上下文完整性 治理知识共享 大语言模型 自动化注释 文本分析 合规性评估

📋 核心要点

  1. 现有的GKC-CI注释方法依赖于人工或众包，效率低且成本高，难以大规模应用。
  2. 本文提出了一种基于大语言模型的自动化GKC-CI注释方法，通过微调模型实现高准确度的隐私政策分析。
  3. 实验结果表明，最佳模型在隐私政策注释任务中的准确率达到90.65%，与人工专家的表现相当，显示出显著的效率提升。

📝 摘要（中文）

识别隐私政策文本中的上下文完整性（CI）和治理知识共享（GKC）参数有助于进行规范性隐私分析。然而，GKC-CI注释过去需要手动或众包努力。本文展示了使用大语言模型可以自动进行高准确度的GKC-CI参数注释。我们在16个隐私政策的21,588个真实标签上微调了50个开源和专有模型。我们表现最佳的模型准确率达到90.65%，与专家在同一任务上的准确率相当。我们将该模型应用于456个来自各种在线服务的隐私政策，展示了GKC-CI注释在隐私政策探索和分析中的有效性。我们公开发布了模型训练代码、训练和测试数据、注释可视化工具以及所有注释政策，以供未来GKC-CI研究使用。

🔬 方法详解

问题定义：本文旨在解决隐私政策文本中GKC-CI参数注释的自动化问题。现有方法依赖人工或众包，效率低且难以扩展。

核心思路：通过微调大语言模型，使其能够自动识别和注释隐私政策中的GKC-CI参数，从而提高注释的效率和准确性。

技术框架：整体流程包括数据收集、模型选择与微调、模型评估和应用。首先收集包含GKC-CI标签的隐私政策数据，然后选择适合的语言模型进行微调，最后评估模型在新数据集上的表现。

关键创新：本研究的主要创新在于利用大语言模型实现GKC-CI注释的自动化，显著提高了注释的准确性和效率，克服了传统方法的局限性。

关键设计：在模型微调过程中，采用了21,588个真实标签的数据集，并对50个不同的开源和专有模型进行了比较，最终选择表现最佳的模型进行应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳模型在隐私政策的GKC-CI注释任务中达到了90.65%的准确率，表现与人工专家相当。通过对456个隐私政策的应用，验证了该方法在大规模隐私政策分析中的有效性，显著提升了注释效率。

🎯 应用场景

该研究的潜在应用领域包括隐私政策的自动化分析、合规性检查和用户隐私保护。通过自动化GKC-CI注释，企业和组织能够更高效地评估其隐私政策，确保符合相关法规，提升用户信任度。未来，该技术还可扩展至其他领域的文本分析和合规性评估。

📄 摘要（原文）

Identifying contextual integrity (CI) and governing knowledge commons (GKC) parameters in privacy policy texts can facilitate normative privacy analysis. However, GKC-CI annotation has heretofore required manual or crowdsourced effort. This paper demonstrates that high-accuracy GKC-CI parameter annotation of privacy policies can be performed automatically using large language models. We fine-tune 50 open-source and proprietary models on 21,588 ground truth GKC-CI annotations from 16 privacy policies. Our best performing model has an accuracy of 90.65%, which is comparable to the accuracy of experts on the same task. We apply our best performing model to 456 privacy policies from a variety of online services, demonstrating the effectiveness of scaling GKC-CI annotation for privacy policy exploration and analysis. We publicly release our model training code, training and testing data, an annotation visualizer, and all annotated policies for future GKC-CI research.