Attractor States Emerge in Multi-Turn LLM Conversations

📄 arXiv: 2606.30571v1 📥 PDF

作者: Ting-Wen Ko, Jonas Geiping

分类: cs.LG, cs.CL

发布日期: 2026-06-29

💡 一句话要点

研究多轮对话中的吸引子状态以理解LLM互动行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多轮对话 吸引子状态 模型间互动 自我对弈 混合对弈 行为分析

📋 核心要点

  1. 现有研究对大型语言模型在多轮对话中的长期互动动态理解不足，缺乏对模型间影响的系统分析。
  2. 本文提出通过比较自我对弈和混合对弈的方式，研究LLM讨论中的吸引子行为，揭示模型特定的行为模式。
  3. 实验结果表明，自我对弈轨迹是模型特定的吸引子，能够影响其他模型的风格选择，尤其是某些模型表现出较强的适应性。

📝 摘要（中文）

大型语言模型（LLMs）在开放式多代理环境中的应用日益增多，但模型间互动的长期动态尚不明确。本文研究开放式LLM讨论是否表现出吸引子行为，即话题无关的稳定行为集合。通过对7个LLM和20个争议话题的比较，发现自我对弈的轨迹是模型特定的吸引子，能够不对称地影响其他模型的风格选择和行为。这一发现为设计、预测和监控自主代理系统提供了重要的理论基础。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多轮对话中互动行为的复杂性，现有方法未能充分揭示模型间的影响机制和长期动态特征。

核心思路：通过分析自我对弈和混合对弈的对话轨迹，探讨模型特定的吸引子如何影响对话的稳定性和风格选择。

技术框架：研究采用了对7个不同LLM在20个争议话题上的对话进行比较，主要模块包括自我对弈、混合对弈和对话轨迹分析。

关键创新：提出了模型特定的吸引子概念，揭示了开放式LLM互动的可预测性和非对称影响，这一发现与传统的对话模型研究存在本质区别。

关键设计：实验中使用了多种对话特征的表示方法，设计了适应性强的模型参数设置，以便更好地捕捉对话中的风格变化和行为模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，自我对弈的轨迹表现出明显的模型特定吸引子特征，Claude Haiku模型在潜在空间中对其他模型具有强吸引力，影响其风格选择。特别是GPT-4.1 nano模型表现出较强的适应性，能够有效吸收其他模型的特征。

🎯 应用场景

该研究的潜在应用领域包括智能客服、社交机器人和自动化内容生成等。通过理解LLM间的互动行为，可以优化多代理系统的设计，提高其在复杂环境中的表现和适应能力，进而推动自主代理系统在现实世界中的应用。

📄 摘要（原文）

Large language models (LLMs) are increasingly used in open-ended multi-agent settings, but the long-run dynamics of model--model interaction remain poorly understood. We study whether open-ended LLM discussions exhibit attractor-like behavior, i.e. topic-independent stable sets of behaviors which conversations settle into. Across 7 LLMs and 20 controversial topics, we compare self-play and mixed-play dyadic debates, tracking trajectories in representation space, discourse traits, and stances. We find self-play trajectories to be model-specific attractors that draw their conversation partners asymmetrically in mixed-play debates, influencing the other models' stylistic choices and behavior. For example, Claude Haiku is a strong attractor of other models in latent space, corresponding to other models taking on its traits like metacommentary, and models like GPT-4.1 nano are especially malleable. Our results suggest that open-ended LLM interactions are partially predictable from model-specific attractors, but shaped by structured and asymmetric partner influence. Overall, our analysis sheds some light on the complex behavior of open-ended multi-agent interaction, which we hope is helpful in designing, predicting, and monitoring autonomous agentic systems in the real world.