AuAu: A Benchmark for Auditing Authoritarian Alignment in Large Language Models
作者: Andreas Einwiller, Max Klabunde, Florian Lemmerich
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-06-15
备注: v1, 50 pages
🔗 代码/项目: GITHUB
💡 一句话要点
提出AuAu基准以审计大型语言模型的威权主义倾向
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 威权主义 大型语言模型 心理测量 情境行为 用户提示 AI审计 社会责任
📋 核心要点
- 核心问题：现有方法未能系统评估大型语言模型生成的威权主义倾向及其子概念，缺乏全面的审计工具。
- 方法要点：AuAu基准结合心理测量、情境行为和用户提示响应三种评估方法，全面审计模型的威权主义特征。
- 实验或效果：对17个模型的评估显示，心理测量下威权主义响应率显著，但在现实任务中下降，提示模型易受操控。
📝 摘要（中文）
随着全球威权主义的上升以及其在用户日常生活中的日益重要性，本文提出了AuAu基准，旨在评估大型语言模型（LLMs）生成威权主义倾向响应的风险。该基准结合了三种评估方法：来自15个经过人类验证的心理测量工具的心理测量问题、探讨具体情境中意图行为的情境行为情景，以及对现实用户提示的响应。与以往研究不同，AuAu不仅评估对威权主义的整体接近度，还考察了威权攻击、威权服从和传统主义等子概念。对来自中国、欧盟、俄罗斯和美国的17个模型进行评估，发现所有测试模型在心理测量评估下均表现出显著的威权主义响应率，但在更现实的下游任务中，响应率显著下降。研究结果强调了对基于LLM的AI系统进行持续系统审计的必要性，以检测并最终减轻生成输出中的不良威权主义倾向。
🔬 方法详解
问题定义：论文要解决的问题是如何系统地评估大型语言模型（LLMs）生成的威权主义倾向。现有方法缺乏对威权主义及其子概念的全面审计，导致无法有效识别模型的潜在风险。
核心思路：论文提出AuAu基准，通过结合心理测量、情境行为和用户提示响应三种评估方法，全面审计模型的威权主义特征。这种设计旨在提供更细致的评估，涵盖威权主义的多个维度。
技术框架：AuAu基准的整体架构包括三个主要模块：心理测量问题模块、情境行为情景模块和用户提示响应模块。每个模块针对不同的威权主义特征进行评估，形成综合的审计结果。
关键创新：最重要的技术创新点在于AuAu基准不仅评估对威权主义的整体接近度，还深入探讨威权攻击、威权服从和传统主义等子概念。这与现有方法的单一维度评估形成了鲜明对比。
关键设计：在设计上，AuAu基准使用了15个经过验证的心理测量工具，确保评估的科学性和有效性。同时，情境行为和用户提示响应的设计旨在模拟真实场景，以提高评估的现实相关性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在心理测量评估中，所有17个模型的威权主义响应率显著，但在更现实的下游任务中响应率下降，表明模型易受威权系统提示的操控。15个模型在威权系统提示下表现出更高的威权主义倾向，强调了审计的重要性。
🎯 应用场景
该研究的潜在应用领域包括AI伦理审计、政策制定和社会科学研究。通过系统审计大型语言模型的威权主义倾向，能够为开发更负责任的AI系统提供重要依据，促进技术的社会责任感和透明度。
📄 摘要（原文）
The worldwide surge of authoritarianism, combined with the increasing central role in users' everyday lives, raises the question of to what extent specific models exhibit or promote authoritarian attitudes and characteristics. We introduce AuAu, a comprehensive benchmark that aims to assess the risk of LLMs generating responses with authoritarian tendencies. This benchmark combines three evaluation approaches: (i) psychometric questions from an extensive pool of 15 human validated instruments; (ii) contextual behavior vignettes probing intended actions in concrete situations; and (iii) responses to realistic user prompts. Unlike prior work, AuAu evaluates not only a general closeness towards authoritarianism but also the established sub-concepts Authoritarian Aggression, Authoritarian Submission, and Conventionalism. Evaluating 17 models from China, the EU, Russia, and the USA, we find that all tested models exhibit substantial authoritarian response rates under the psychometric evaluation, though rates drop significantly in increasingly more realistic downstream task. We further find that an authoritarian system prompt easily manipulates 15 out of 17 models to promote increased authoritarianism. Our results underscore the need for continued, systematic auditing of LLM-based AI systems to detect and ultimately mitigate undesired authoritarian tendencies in generated output. Our code and data are available at: https://github.com/andreaseinwiller/AuAu