From Opinions to Commitments: Unstable Assignments and Silent Choices in AI-Mediated Proposals
作者: Sachit Mahajan, Javier Argota S{á}nchez-Vaquerizo, Arthur Capozzi, Dirk Helbing
分类: cs.AI, cs.HC
发布日期: 2026-11-03
💡 一句话要点
提出审计机制以解决AI中提案的选择不稳定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 集体提案 任务分配 透明度 审计机制 公民参与 民主决策
📋 核心要点
- 现有的AI中介在处理公民意见时，可能导致相同意见生成不同的任务分配，造成选择的不稳定性。
- 本文提出通过审计机制，使替代任务分配可见，并明确提案背后的目标，从而提高透明度。
- 实验结果显示，在多次运行中，17%至20%的情况下，任务分配存在显著差异，且重新排序意见的影响与更换意见来源相当。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地被用于将公民的意见转化为集体提案。这些提案涉及任务分配，但如果相同的意见在不同处理下导致分配变化，单一提案可能会掩盖参与者未见的替代方案。本文研究了四种LLM中介的表现，发现意见的重新排序和随机种子的变化会显著影响任务分配。尽管采取了多种保护措施，仍然存在显著的变异。我们建议实施审计机制，以使替代分配可见，并披露每个提案背后的目标。
🔬 方法详解
问题定义：本文旨在解决AI中介在生成集体提案时，因意见处理方式不同导致的任务分配不稳定性问题。现有方法未能有效揭示参与者可能错失的选择。
核心思路：通过引入审计机制，使参与者能够看到不同的任务分配选项，并了解提案背后的目标，从而增强透明度和参与感。
技术框架：研究中使用了四种LLM中介（包括三种开放权重和一种商业模型），对来自DeliberationBank和Polis的意见进行处理，分析不同处理方式对任务分配的影响。
关键创新：本文的主要创新在于识别并量化了任务分配的变异性，提出了审计机制以揭示替代方案，这在现有文献中尚属首次。
关键设计：在实验中，采用了不同的随机种子和意见顺序，确保了结果的可靠性。尽管设置了温度为零等保护措施，仍观察到显著的变异性，表明任务分配的敏感性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在开放权重中介的五次运行中，17%的情况下存在任务分配差异，而商业中介则为20%。重新排序意见的影响与更换意见来源相当，表明任务分配的高度不稳定性。此发现强调了审计机制的重要性，以确保参与者能够看到所有可能的选择。
🎯 应用场景
该研究的潜在应用领域包括公共政策制定、社区参与和民主决策等。通过提高AI中介的透明度，能够增强公民对集体提案的信任，促进更广泛的参与和更有效的决策。未来，审计机制的实施可能会推动AI在社会治理中的应用，提升其公正性和有效性。
📄 摘要（原文）
Large language models (LLMs) are increasingly being used to turn citizens' opinions into collective proposals. These proposals can make assignments: who should act, what must be done, how much one should spend and by when. However, if the assignments change when the same opinions are processed again, publishing a single proposal can hide alternatives that participants never get to see. We examined this issue in four LLM mediators (three open-weight and one commercial) using opinions from DeliberationBank and Polis. For each task, a mediator drafted a proposal from thirty opinions five times, varying either the random seed or the order of the opinions. In 17% of five-run sets from the open-weight mediators and 20% from the commercial one, some runs contained assignments while others did not. Reordering the opinions changed the assignments almost as often as replacing them with opinions from different citizens. Three human annotators confirmed that the detected differences between runs were real, although the LLM judge overstated how often they occurred. Substantial variation remained under four safeguards: temperature zero, a commercial mediator, draft selection, and draft merging. The mediator's objective also shaped representation: prompts seeking agreement covered minority positions much less often than prompts asking to describe differences. A single proposal can therefore obscure choices in both the assignments it proposes and the views it excludes. We propose audits that make alternative assignments visible and disclose the objective behind each proposal.