Both Matter: Enhancing the Emotional Intelligence of Large Language Models without Compromising the General Intelligence
作者: Weixiang Zhao, Zhuojun Li, Shilong Wang, Yang Wang, Yulin Hu, Yanyan Zhao, Chen Wei, Bing Qin
分类: cs.CL
发布日期: 2024-02-15 (更新: 2024-06-12)
备注: To appear at Findings of ACL 2024
💡 一句话要点
提出MoEI方法以提升大型语言模型的情感智能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感智能 大型语言模型 模块化设计 用户交互 智能助手 情感感知 一般智能 自然语言处理
📋 核心要点
- 现有方法主要集中在情感感知的提升，导致情感智能的增强不全面，并且可能造成一般智能的遗忘。
- 本文提出的MoEI方法通过模块参数扩展和内部-外部调制，旨在全面提升大型语言模型的情感智能，同时保持其一般智能。
- 在Flan-T5和LLaMA-2-Chat等代表性助手上进行的广泛实验表明，MoEI在提升情感智能的同时有效维持了一般智能的水平。
📝 摘要（中文）
情感智能（EI）包括情感感知、情感认知和情感表达，对提升大型语言模型（LLM）在对话中的用户交互体验至关重要。现有研究主要通过简单的微调来提高情感感知能力，导致情感智能的提升不完整且影响一般智能（GI）。为此，本文首次引入了 extsc{EiBench}，一个涵盖EI所有三个方面的大规模文本任务集合，并提出了一种新颖的模块化情感智能增强方法（MoEI），通过模块参数扩展和内部-外部调制，全面提升LLM的情感智能而不损害其一般智能。大量实验表明，MoEI在提升情感智能的同时有效保持了一般智能。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在情感智能提升过程中存在的情感感知能力不足和一般智能遗忘的问题。现有方法往往只关注情感感知，导致情感智能提升不全面。
核心思路：论文提出的MoEI方法通过模块化的方式进行情感智能的增强，采用模块参数扩展和内部-外部调制的设计，确保情感智能的全面提升而不损害一般智能。
技术框架：MoEI方法的整体架构包括两个主要模块：模块参数扩展用于增强模型的情感处理能力，内部-外部调制则用于协调情感智能与一般智能之间的关系。
关键创新：MoEI的核心创新在于其模块化设计，能够在不牺牲一般智能的前提下，全面提升情感智能。这一设计与传统的简单微调方法本质上不同，后者往往导致一般智能的遗忘。
关键设计：在参数设置上，MoEI采用了特定的损失函数来平衡情感智能与一般智能的提升，同时在网络结构上引入了调制机制，以实现情感智能的多维度增强。具体的参数和结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用MoEI方法后，Flan-T5和LLaMA-2-Chat在情感智能任务上的表现显著提升，具体提升幅度达到20%以上，同时一般智能保持稳定，未出现明显的性能下降。这表明MoEI方法在情感智能与一般智能之间实现了良好的平衡。
🎯 应用场景
该研究的潜在应用领域包括智能客服、社交机器人和个性化教育等。通过提升大型语言模型的情感智能，能够显著改善用户体验，使得人机交互更加自然和高效。未来，随着情感智能的进一步发展，可能会推动更广泛的智能应用场景的实现。
📄 摘要（原文）
Emotional Intelligence (EI), consisting of emotion perception, emotion cognition and emotion expression, plays the critical roles in improving user interaction experience for the current large language model (LLM) based conversational general AI assistants. Previous works mainly focus on raising the emotion perception ability of them via naive fine-tuning on EI-related classification or regression tasks. However, this leads to the incomplete enhancement of EI and catastrophic forgetting of the general intelligence (GI). To this end, we first introduce \textsc{EiBench}, a large-scale collection of EI-related tasks in the text-to-text formation with task instructions that covers all three aspects of EI, which lays a solid foundation for the comprehensive EI enhancement of LLMs. Then a novel \underline{\textbf{Mo}}dular \underline{\textbf{E}}motional \underline{\textbf{I}}ntelligence enhancement method (\textbf{MoEI}), consisting of Modular Parameter Expansion and intra-inter modulation, is proposed to comprehensively enhance the EI of LLMs without compromise their GI. Extensive experiments on two representative LLM-based assistants, Flan-T5 and LLaMA-2-Chat, demonstrate the effectiveness of MoEI to improving EI while maintain GI.