EmoS: A Theory-Grounded Framework for Evaluating and Aligning Emotional Intelligence in Spoken Language Models

📄 arXiv: 2608.09189v1 📥 PDF

作者: Junyu Wang, Siyuan Zhang, Peiyuan Jiang, Jian Zong, Jingyu Zhang, Tianrui Wang, Yuqin Lin, Zhenghui Chen, Shuqing Xie, Ziyang Ma, Meng Ge, Xiaobao Wang, Longbiao Wang, Jianwu Dang

分类: cs.CL

发布日期: 2026-08-10

备注: Accepted at ACM Multimedia 2026 (MM '26)

💡 一句话要点

提出EmoS框架以评估和提升语言模型的情感智能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感智能 语言模型 评估基准 对话系统 机器学习 监督微调 奖励机制

📋 核心要点

  1. 现有的情感智能评估方法主要依赖于基础的副语言感知，缺乏系统的理论框架，导致评估效果不佳。
  2. 论文提出EmoS框架，通过构建EmoSBench基准和EmoDialogue数据集，系统性地评估和提升语言模型的情感智能。
  3. 实验结果显示，EmoS模型的准确率达到83.8%，显著优于现有模型，验证了其在真实语音交互中的有效性。

📝 摘要（中文）

尽管在指令遵循和听觉理解方面取得了显著进展，情感智能（EI）在语言模型（SLMs）中的评估仍然局限于基础的副语言感知，缺乏系统的、理论驱动的认知框架。我们提出了EmoSBench，这是第一个基于四分支理论模型的全面EI评估基准，涵盖感知、理解、使用和管理情感的十个子任务。初步评估显示，即使是领先的专有模型如GPT-4o-Audio也仅达到52.6%，远低于人类基线。为缩小这一差距，我们开发了EmoS，一个通过监督微调（SFT）和群体相对策略优化（GRPO）优化的专用评估模型。我们还引入了一个奖励机制，结合陡峭指数准确性奖励（SEAR）和推理保真度奖励（RFR），以强制执行精确的序数评分和有效的推理。实验表明，EmoS的准确率达到83.8%，接近人类水平。

🔬 方法详解

问题定义：本论文旨在解决情感智能在语言模型评估中的不足，现有方法缺乏系统性和理论支持，导致评估结果不理想。

核心思路：提出EmoS框架，结合四分支理论模型，系统性地评估情感智能，并通过EmoDialogue数据集提供细粒度的监督。

技术框架：整体架构包括EmoSBench基准、EmoDialogue数据集、EmoS评估模型及其训练过程，采用监督微调和群体相对策略优化。

关键创新：EmoS框架是第一个全面的情感智能评估基准，结合了新的奖励机制（SEAR和RFR），与现有方法相比，提供了更精确的评估标准。

关键设计：在模型训练中，采用了细粒度的情感智能分级响应对，设计了特定的损失函数以优化模型的评估能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，EmoS模型的准确率达到83.8%，显著高于领先模型GPT-4o-Audio的52.6%，接近人类水平，验证了其在真实语音交互中的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括情感智能对话系统、智能客服、教育辅导等，能够提升人机交互的情感理解能力，增强用户体验。未来，EmoS框架有助于推动情感智能技术的广泛应用与发展。

📄 摘要（原文）

Despite significant advances in instruction-following and auditory comprehension, the evaluation of Emotional Intelligence (EI) in Spoken Language Models (SLMs) remains confined to rudimentary paralinguistic perception, lacking a systematic, theory-driven cognitive framework. We introduce EmoSBench, the first comprehensive EI evaluation benchmark for SLMs constructed upon the four-branch theoretical model, covering Perceiving, Understanding, Using, and Managing Emotion across ten sub-tasks. Preliminary assessments on EmoSBench reveal a substantial gap: even leading proprietary models like GPT-4o-Audio achieve only 52.6%, significantly trailing human baselines. To bridge this gap, we develop EmoS, a specialized evaluator model optimized via Supervised Fine-Tuning (SFT) and Group Relative Policy Optimization (GRPO). To facilitate its effective training, we curate EmoDialogue, a bilingual dataset providing necessary fine-grained supervision through response pairs with rigorously defined EI gradations. Concurrently, we introduce a reward mechanism integrating a Steep Exponential Accuracy Reward (SEAR) and a Rationale Fidelity Reward (RFR) to enforce precise ordinal scoring and valid reasoning. Experiments demonstrate that EmoS reaches 83.8% accuracy, approaching human-level performance. Furthermore, evaluations on authentic, unconstrained spoken interactions validate its robust real-world generalization, establishing a foundational framework for advancing emotionally intelligent dialogue systems.