SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents

📄 arXiv: 2403.08715v3 📥 PDF

作者: Ruiyi Wang, Haofei Yu, Wenxin Zhang, Zhengyang Qi, Maarten Sap, Graham Neubig, Yonatan Bisk, Hao Zhu

分类: cs.CL

发布日期: 2024-03-13 (更新: 2024-04-25)

💡 一句话要点

提出SOTOPIA-$π$以提升语言智能体的社会交互能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交智能 语言智能体 互动学习 行为克隆 自我强化训练 大语言模型 社交互动数据

📋 核心要点

  1. 现有的语言智能体在社交技能学习方面存在不足，缺乏有效的互动学习机制。
  2. 提出的SOTOPIA-$π$方法通过行为克隆和自我强化训练，利用经过筛选的社交互动数据来提升智能体的社交能力。
  3. 实验结果显示，7B LLM在社交目标完成能力上达到了GPT-4模型的水平，并且在安全性和问答能力上都有所提升。

📝 摘要（中文）

人类通过模仿和社交互动学习社交技能，但现有语言智能体的研究对此过程关注不足。为填补这一空白，本文提出了一种互动学习方法SOTOPIA-$π$，旨在提升语言智能体的社会智能。该方法结合行为克隆和自我强化训练，利用经过大语言模型（LLM）评分的社交互动数据进行训练。实验表明，使用该训练方法的7B LLM在社交目标完成能力上达到了专家模型（基于GPT-4的智能体）的水平，同时提高了语言智能体的安全性，并在MMLU基准测试中保持了良好的通用问答能力。此外，研究发现LLM评估社交智能的能力存在一定的高估现象。

🔬 方法详解

问题定义：本文旨在解决现有语言智能体在社交技能学习中的不足，尤其是缺乏有效的社交互动学习机制，导致智能体在社交场景中的表现不佳。

核心思路：SOTOPIA-$π$方法通过结合行为克隆和自我强化训练，利用经过大语言模型评分的社交互动数据，提升智能体的社交智能。这样的设计旨在通过真实的社交数据来增强智能体的学习效果。

技术框架：该方法的整体架构包括数据收集、行为克隆训练和自我强化训练三个主要模块。首先，收集经过筛选的社交互动数据，然后进行行为克隆训练，最后通过自我强化训练进一步优化智能体的表现。

关键创新：最重要的创新点在于将社交互动数据与大语言模型的评分结合，形成了一种新的训练范式，显著提升了智能体的社交能力，这与传统的单一训练方法有本质区别。

关键设计：在训练过程中，采用了特定的损失函数来平衡行为克隆和自我强化训练的效果，同时在网络结构上进行了优化，以适应社交互动的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用SOTOPIA-$π$训练的7B LLM在社交目标完成能力上达到了基于GPT-4的专家模型的水平，同时在MMLU基准测试中保持了良好的通用问答能力。此外，研究还揭示了LLM评估社交智能的高估现象，提示了评估方法的改进方向。

🎯 应用场景

该研究的潜在应用领域包括社交机器人、虚拟助手和在线客服等，能够显著提升这些系统在社交场景中的表现和用户体验。未来，随着社交智能的不断提升，这些智能体将能够更好地理解和响应人类的社交需求，推动人机交互的进步。

📄 摘要（原文）

Humans learn social skills through both imitation and social interaction. This social learning process is largely understudied by existing research on building language agents. Motivated by this gap, we propose an interactive learning method, SOTOPIA-$π$, improving the social intelligence of language agents. This method leverages behavior cloning and self-reinforcement training on filtered social interaction data according to large language model (LLM) ratings. We show that our training method allows a 7B LLM to reach the social goal completion ability of an expert model (GPT-4-based agent), while improving the safety of language agents and maintaining general QA ability on the MMLU benchmark. We also find that this training paradigm uncovers some difficulties in LLM-based evaluation of social intelligence: LLM-based evaluators overestimate the abilities of the language agents trained specifically for social interaction.