SpeechAgents: Human-Communication Simulation with Multi-Modal Multi-Agent Systems
作者: Dong Zhang, Zhaowei Li, Pengyu Wang, Xin Zhang, Yaqian Zhou, Xipeng Qiu
分类: cs.CL
发布日期: 2024-01-08
备注: work in progress
💡 一句话要点
提出SpeechAgents以模拟人类多模态沟通
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态沟通 大型语言模型 多代理系统 人类沟通模拟 情感表达 戏剧创作 音频小说生成
📋 核心要点
- 现有的基于LLM的多代理系统主要依赖文本作为主要交流媒介，无法充分模拟人类的多模态沟通。
- 论文提出SpeechAgents，通过多模态LLM作为控制中心，利用多模态信号增强代理间的沟通能力。
- 实验结果显示，SpeechAgents在模拟人类对话时表现出一致性、真实感和情感丰富性，且可扩展性良好。
📝 摘要（中文）
人类沟通是一个复杂多样的过程，涉及语言、常识和文化背景等多种因素，同时需要多模态信息的参与，如语音。基于大型语言模型（LLM）的多代理系统在模拟人类社会方面表现出色。本文提出了SpeechAgents，一个旨在模拟人类沟通的多模态LLM基础多代理系统。SpeechAgents利用多模态LLM作为个体代理的控制中心，并采用多模态信号作为代理间交换信息的媒介。此外，我们提出了多代理调优方法，以增强LLM的多代理能力而不损害其通用能力。实验结果表明，SpeechAgents能够模拟具有一致内容、真实节奏和丰富情感的人类沟通对话，并在最多25个代理的情况下表现出卓越的可扩展性，适用于戏剧创作和音频小说生成等任务。
🔬 方法详解
问题定义：本文旨在解决现有基于LLM的多代理系统在模拟人类多模态沟通时的不足，尤其是对文本依赖的局限性。
核心思路：通过引入多模态信号作为信息交换媒介，SpeechAgents能够更真实地模拟人类沟通过程，增强了代理间的互动性和情感表达。
技术框架：SpeechAgents的整体架构包括多模态LLM作为控制中心，多个代理通过多模态信号进行信息交流，并结合多代理调优方法以提升系统性能。
关键创新：最重要的创新在于引入多模态信号作为交流媒介，并通过多代理调优方法增强了LLM的多代理能力，这与传统的文本依赖方法形成了鲜明对比。
关键设计：在设计中，采用了特定的损失函数以优化多模态信号的处理，并在网络结构上进行了调整，以支持多代理的高效协作。具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SpeechAgents能够在最多25个代理的情况下，模拟人类沟通对话，表现出一致的内容、真实的节奏和丰富的情感。与基线相比，系统在对话质量和可扩展性方面均有显著提升，展示了其在多模态沟通模拟中的优越性。
🎯 应用场景
该研究的潜在应用领域包括戏剧创作、音频小说生成以及其他需要模拟人类沟通的场景。SpeechAgents的多模态能力能够为创意产业带来新的可能性，提升内容生成的质量和丰富性，未来可能在教育、娱乐等多个领域产生深远影响。
📄 摘要（原文）
Human communication is a complex and diverse process that not only involves multiple factors such as language, commonsense, and cultural backgrounds but also requires the participation of multimodal information, such as speech. Large Language Model (LLM)-based multi-agent systems have demonstrated promising performance in simulating human society. Can we leverage LLM-based multi-agent systems to simulate human communication? However, current LLM-based multi-agent systems mainly rely on text as the primary medium. In this paper, we propose SpeechAgents, a multi-modal LLM based multi-agent system designed for simulating human communication. SpeechAgents utilizes multi-modal LLM as the control center for individual agent and employes multi-modal signals as the medium for exchanged messages among agents. Additionally, we propose Multi-Agent Tuning to enhance the multi-agent capabilities of LLM without compromising general abilities. To strengthen and evaluate the effectiveness of human communication simulation, we build the Human-Communication Simulation Benchmark. Experimental results demonstrate that SpeechAgents can simulate human communication dialogues with consistent content, authentic rhythm, and rich emotions and demonstrate excellent scalability even with up to 25 agents, which can apply to tasks such as drama creation and audio novels generation. Code and models will be open-sourced at https://github. com/0nutation/SpeechAgents