Towards Publicly Accountable Frontier LLMs: Building an External Scrutiny Ecosystem under the ASPIRE Framework

📄 arXiv: 2311.14711v1 📥 PDF

作者: Markus Anderljung, Everett Thornton Smith, Joe O'Brien, Lisa Soder, Benjamin Bucknall, Emma Bluemke, Jonas Schuett, Robert Trager, Lacey Strahm, Rumman Chowdhury

分类: cs.CY, cs.AI

发布日期: 2023-11-15

备注: Accepted to Workshop on Socially Responsible Language Modelling Research (SoLaR) at the 2023 Conference on Neural Information Processing Systems (NeurIPS 2023)

💡 一句话要点

提出ASPIRE框架以增强前沿大型语言模型的外部审查机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 外部审查 大型语言模型 ASPIRE框架 AI伦理 政策建议

📋 核心要点

  1. 核心问题：现有的前沿LLM开发和使用决策缺乏透明度，容易导致不当使用和社会信任危机。
  2. 方法要点：提出ASPIRE框架，通过外部审查机制增强对前沿LLM的监督，确保决策过程的透明和公正。
  3. 实验或效果：通过对六个外部审查要求的调查，提供了政策建议，促进了对前沿AI系统的有效监督。

📝 摘要（中文）

随着前沿大型语言模型（LLMs）在社会和经济中的日益普及，相关的训练、部署和使用决策具有深远的影响。这些决策不应仅由开发者掌控，用户、民间社会和政策制定者需要可信的信息来源来引导这些决策。通过引入外部参与者进行系统评估，即所谓的“外部审查”，可以提供解决方案。本文调查了有效外部审查的六个要求，并将其组织在ASPIRE框架下：访问、搜索态度、与风险的比例、独立性、资源和专业知识。我们还展示了外部审查在AI生命周期中的作用，并向政策制定者提供建议。

🔬 方法详解

问题定义：本文旨在解决前沿大型语言模型在训练和使用过程中的透明度不足问题。现有方法往往缺乏有效的外部审查机制，导致决策过程不够公开和可信。

核心思路：论文提出ASPIRE框架，强调外部审查的重要性，认为通过引入外部参与者可以有效提升对前沿LLM的监督和透明度。

技术框架：ASPIRE框架包含六个主要模块：访问、搜索态度、与风险的比例、独立性、资源和专业知识。每个模块都针对外部审查的不同方面进行设计，以确保全面的审查机制。

关键创新：最重要的创新点在于系统化地将外部审查的要求整合到一个框架中，提供了一个可操作的指导方针，与现有的单一审查方法相比，具有更高的适应性和有效性。

关键设计：在框架中，强调了对外部审查参与者的独立性和专业知识的要求，确保审查过程不受开发者的影响，同时提供必要的资源支持以进行有效的审查。具体的参数设置和评估标准则根据不同的应用场景进行调整。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

本文通过对六个外部审查要求的深入分析，提出了ASPIRE框架，强调了外部审查在AI生命周期中的重要性。该框架为政策制定者提供了具体的建议，旨在提升前沿LLM的透明度和可信度。

🎯 应用场景

该研究的潜在应用领域包括政策制定、AI伦理审查和技术监管等。通过建立外部审查机制，可以增强公众对前沿LLM的信任，促进其在社会中的健康发展，减少潜在的负面影响。

📄 摘要（原文）

With the increasing integration of frontier large language models (LLMs) into society and the economy, decisions related to their training, deployment, and use have far-reaching implications. These decisions should not be left solely in the hands of frontier LLM developers. LLM users, civil society and policymakers need trustworthy sources of information to steer such decisions for the better. Involving outside actors in the evaluation of these systems - what we term 'external scrutiny' - via red-teaming, auditing, and external researcher access, offers a solution. Though there are encouraging signs of increasing external scrutiny of frontier LLMs, its success is not assured. In this paper, we survey six requirements for effective external scrutiny of frontier AI systems and organize them under the ASPIRE framework: Access, Searching attitude, Proportionality to the risks, Independence, Resources, and Expertise. We then illustrate how external scrutiny might function throughout the AI lifecycle and offer recommendations to policymakers.