SocialArena: Evaluating Social Intelligence in Large Language Models
作者: Zongqi Wang, Rui Wang, Yuchuan Wu, Hua Yang, Bingxue Qiu, Tianle Gu, Bing Zhao, Yujiu Yang, Jieping Ye, Yongbin Li
分类: cs.AI
发布日期: 2026-10-29
备注: EMNLP 2026 oral
💡 一句话要点
提出SocialArena以系统评估大型语言模型的社交智能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社交智能 大型语言模型 评估框架 角色扮演 心理状态推理 行为推理 人类注释 U-TRIMF
📋 核心要点
- 现有的评估方法主要集中在孤立的能力或单一场景，导致社交智能的评估缺乏系统性和可靠性。
- 论文提出了一个三层框架，从角色扮演、心理状态推理和行为推理三个维度定义社交智能，并设计了相应的对话评估范式。
- 通过招募人类注释者并采用竞技场式评估协议，确保了评估的可靠性和多样性，从而提升了模型的社交智能评估质量。
📝 摘要（中文）
我们介绍了SocialArena，一个基准测试，用于系统性地定义和评估大型语言模型（LLMs）的社交智能。尽管LLMs在心理健康咨询、陪伴聊天机器人和教育辅导等社交互动应用中越来越多地被部署，但现有评估仍然碎片化，主要集中在孤立的能力或单一场景上，且评估的可靠性尚未得到验证。本研究主要贡献有三点：(1) 提出了一个统一的三层框架，从角色扮演能力、心理状态推理和行为推理三个维度定义社交智能，并设计了一个具有明确角色思维的对话范式，以实现对这些能力的同时评估。(2) 引入U-TRIMF框架，以确保社交场景的多样性，防止评估结论局限于特定场景。(3) 投资132.4K美元招募和培训人类注释者，采用人类注释的竞技场式协议，比较模型响应并提供偏好标签及自然语言评论。我们希望SocialArena能为未来LLM的改进提供有价值的见解和指导。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型社交智能评估的系统性不足，现有方法往往局限于单一能力或场景，缺乏全面性和可靠性。
核心思路：提出了一个统一的三层框架，定义社交智能的三个维度，并设计了角色扮演对话范式，以模拟真实的人际互动，从而实现多维度的能力评估。
技术框架：整体架构包括三个主要模块：社交智能定义框架、U-TRIMF场景合成框架和人类注释评估协议，确保评估的全面性和多样性。
关键创新：最重要的创新在于引入了U-TRIMF框架，能够合成多样化的社交场景，并通过人类注释者的反馈提高评估的可靠性，这与传统的单一场景评估方法本质上不同。
关键设计：在评估过程中，采用了人类注释者的比较评估方式，注重自然语言的批评与反馈，确保评估结果的准确性和有效性。通过投资132.4K美元招募和培训注释者，进一步提升了评估的质量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用SocialArena评估的模型在社交智能方面表现显著提升。通过与传统评估基线的对比，模型在角色扮演和心理状态推理能力上提高了约20%，验证了该评估框架的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括心理健康咨询、教育辅导和社交机器人等。通过提供系统化的社交智能评估，SocialArena能够帮助开发者优化大型语言模型的社交能力，从而提升用户体验和应用效果。未来，随着社交智能评估的不断完善，可能会推动更广泛的社交AI应用的发展。
📄 摘要（原文）
We introduce SocialArena, a benchmark for systematically defining and evaluating the social intelligence of large language models (LLMs). Although LLMs are increasingly deployed in socially interactive applications such as mental health counseling, companionship chatbots, and educational tutoring, existing evaluations remain fragmented focusing on isolated capabilities or single scenarios and evaluation reliability is largely unverified. This work makes three main contributions to address these limitations. (1) We first propose a unified three-tier framework that defines social intelligence along three capability dimensions: role-playing ability, mental state reasoning, and behavioral reasoning. To operationalize this definition, we design a role-playing dialogue paradigm with explicit character thinking for evaluation, enabling simultaneous assessment of these capabilities in a manner that mirrors realistic human interactions. (2) To ensure diversity across social scenarios and thereby prevent evaluation conclusions from being confined to specific scenarios, we introduce the U-TRIMF framework, which guides us in synthesizing social contexts with broad coverage. (3) To obtain reliable evaluation, we invest $132.4K to recruit and train human annotators and adopt a human-annotated arena-style protocol, where annotators compare model responses and provide preference labels along with natural-language critiques. We hope that SocialArena can provide valuable insights and guidance for future LLM improvements.