Emergence of Preferential Attachment and Glass-Ceiling Effects in Autonomous Networks of LLMs

📄 arXiv: 2607.01148v1 📥 PDF

作者: Yiming Zhang, Vikram Krishnamurthy

分类: cs.SI, eess.SY

发布日期: 2026-07-01

💡 一句话要点

提出LLM网络中的优先连接与玻璃天花板效应模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 优先连接 玻璃天花板效应 多代理系统 网络结构 中心性分析 协作AI

📋 核心要点

  1. 现有的LLM代理网络在自主选择合作伙伴时，存在中心性差异和结构性不平等的问题。
  2. 论文提出了一种基于交叉注意力的效用模型，结合均值场理论，解释LLM代理的合作选择动态。
  3. 实验结果表明，网络形成过程中存在持久的中心性差异，且这些差异受模型类型和任务上下文的影响。

📝 摘要（中文）

本研究探讨了协作大型语言模型（LLM）代理网络中结构性差异的出现。当LLM代理自主选择合作伙伴时，形成的通信网络表现出优先连接动态：已经突出的代理更可能吸引额外连接。在某些情况下，较弱的LLM代理（如基础模型较小或版本较旧）相对较强的代理可以占据中心和有影响力的网络位置。我们将其解释为一种类型依赖的玻璃天花板效应。通过对均值场动态的收缩映射论证，我们证明了每种代理类型的重要性（中心性）收敛到唯一的稳定均衡。为将模型与LLM决策机制结合，我们引入了一种基于交叉注意力的合作选择效用。该效用指定了局部连接动态，并与均值场模型结合，预测了限制网络结构及其类型依赖的中心性差距。

🔬 方法详解

问题定义：本研究旨在解决LLM代理网络中存在的结构性不平等和中心性差异问题。现有方法未能有效解释不同类型代理在网络中的地位差异。

核心思路：论文的核心思路是通过建模LLM代理的合作选择过程，利用优先连接动态和玻璃天花板效应，揭示不同类型代理的中心性差异。

技术框架：整体架构包括一个时间演变的有向加权图模型，边权向量表示累积的交换令牌、交互轮次和推理努力。通过均值场动态分析，证明了中心性收敛到稳定均衡。

关键创新：最重要的技术创新在于引入了基于交叉注意力的效用模型，能够更好地捕捉LLM代理的局部连接动态，与传统方法相比，提供了更具解释力的网络结构预测。

关键设计：在模型中，边权的设计考虑了多个因素，包括交互频率和推理复杂度，确保了模型能够反映真实的LLM代理行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，100个LLM代理的自主网络形成过程中，中心性差异显著，且其幅度和方向依赖于模型家族、模型大小、系统提示设计和任务上下文。优先连接效应的强化与削弱对集体性能的影响也得到了验证。

🎯 应用场景

该研究的潜在应用领域包括多代理系统、协作AI和智能网络等。通过理解LLM代理的合作动态，可以优化多代理协作的效率，提升系统整体性能，未来可能影响智能系统的设计与实现。

📄 摘要（原文）

We investigate the emergence of structural disparities in networks of collaborating large language model (LLM) agents. When LLM agents autonomously choose collaborators, the resulting communication network exhibits preferential-attachment dynamics: agents that are already prominent become increasingly likely to attract additional connections. In some cases, weaker LLM agents (agents with smaller base model or older version) can disproportionately occupy central and influential network positions relative to stronger LLM agents. We interpret this as a type-dependent glass-ceiling effect (GCE). We model the network of LLM agents as a time-evolving sequence of directed weighted graphs, where the vector-valued edge weights represent cumulative tokens exchanged, number of interaction rounds, and reasoning effort. Using a contraction mapping argument on the mean-field dynamics, we prove that the importance (centrality) of each agent type converges to a unique stable equilibrium. To ground the model in LLM decision mechanisms, we introduce a cross-attention-inspired utility for collaborator selection. This utility specifies the local connection dynamics and, together with the mean-field model, yields a predictive characterization of the limiting network structure and its type-dependent centrality gaps. To validate the theory, we develop an experimental testbed with 100 LLM agents. Our experiments show that autonomous network formation can generate persistent centrality disparities, with their magnitude and direction depending on model family, model size, system-prompt design, and task context. They further show that the effect of preferential attachment depends on its alignment with model capability: reinforcing it improves collective performance when stronger agents become central, whereas weakening it improves performance when network dynamics instead favor weaker agents.