Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
作者: Zi Haur Pang, Casey Kennington, Tatsuya Kawahara
分类: cs.HC, cs.CL, cs.RO
发布日期: 2026-08-17
备注: This paper has been accepted for presentation at APSIPA ASC 2026
💡 一句话要点
提出AffectLoop以解决情感动态交互不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 同情机器人 情感动态 多模态交互 人机交互 情感建模 社交机器人 自然语言处理
📋 核心要点
- 现有同情对话系统主要集中于文本，无法有效捕捉发言者与听者之间的情感动态交互。
- AffectLoop系统通过多模态输入，跟踪发言者和听者的情感状态，从而生成更具同情心的响应。
- 实验结果显示，AffectLoop在同情响应和用户满意度方面显著优于传统基线系统。
📝 摘要（中文）
同情社交机器人不仅应对用户的言语做出反应，还应关注用户情感在互动过程中的动态演变。然而，现有的同情对话系统往往以文本为中心，主要将同情建模为用户情感到系统响应的单向映射，限制了其捕捉发言者与听者之间情感交流的能力。本文提出了AffectLoop，一个多模态发言者-听者情感动态感知的对话系统，应用于Misty II机器人。该系统跟踪发言者的言语和面部情感动态，估计机器人听者自身的言语和行为情感状态，并基于这两种情感流生成响应。实验结果表明，该系统在同情响应和用户满意度方面获得了更高的评分。
🔬 方法详解
问题定义：本文旨在解决现有同情对话系统在情感动态交互方面的不足，现有方法主要依赖文本，无法有效捕捉发言者与听者之间的情感交流。
核心思路：AffectLoop系统通过多模态输入，实时跟踪发言者的言语和面部情感动态，同时估计机器人听者的情感状态，从而实现更为自然和同情的互动。
技术框架：该系统包括多个模块：情感动态跟踪模块、情感状态估计模块和基于大语言模型的响应生成模块。整体流程为：首先捕捉发言者的情感动态，然后估计听者的情感状态，最后生成相应的同情回应。
关键创新：AffectLoop的创新在于其闭环的情感动态建模，能够同时考虑发言者和听者的情感状态，而不是单向的情感映射。这一设计使得系统能够更好地理解和响应用户的情感需求。
关键设计：系统在参数设置上进行了优化，使用了特定的损失函数来平衡发言者和听者的情感输入，同时采用了基于大语言模型的生成网络，以确保生成的响应既符合情感动态又具备自然语言流畅性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AffectLoop系统在同情响应和用户满意度方面的评分显著高于基线系统，尤其在情感一致性和用户体验方面表现突出。具体而言，系统在发言者-听者情感对齐度和基于情感的痛苦恢复能力上也有明显提升。
🎯 应用场景
该研究的潜在应用领域包括人机交互、社交机器人、心理健康支持等。通过提升机器人对用户情感的理解和响应能力，AffectLoop可以在教育、医疗和客户服务等领域提供更为人性化的互动体验，未来可能对社交机器人技术的发展产生深远影响。
📄 摘要（原文）
Empathetic social robots should respond not only to what users say, but also to how their emotions dynamically evolve during interaction. However, existing empathetic dialogue systems are often text-centered and primarily model empathy as a one-way mapping from the user's emotion to the system response, limiting their ability to capture embodied speaker--listener affective exchange. We present AffectLoop, a multimodal speaker-listener emotion-dynamics-aware spoken dialogue system implemented on the Misty II robot. The system tracks the speaker's verbal and facial affective dynamics, estimates the robot listener's own verbal and behavioral affective state, and conditions LLM-based response generation on both affective streams. The robot then generates a short spoken empathetic response together with emotionally congruent embodied behavior, forming a closed speaker--listener affective loop. We evaluate the system in a pilot within-subject study with five participants, comparing it with an otherwise identical utterance-conditioned baseline that omits the speaker- and listener-affective-state inputs. The proposed system received higher overall impression ratings, especially for empathetic response and user satisfaction. Post-hoc log analysis further showed higher speaker-listener affective alignment and stronger valence-based distress recovery. These preliminary results suggest that explicitly modeling both speaker emotional dynamics and listener affective state can improve embodied empathetic interaction.