Dual-Loop Self-Evolution via Verifiable Emotion Feedback for Multi-Turn Empathetic Dialogue
作者: Yi Wei, Shuo Jiang, Huaixia Dou, Jie Zhu, Junhui Li, Lifan Guo, Feng Chen, Chi Zhang
分类: cs.CL
发布日期: 2026-08-11
备注: 10 pages, 4 figures, 6 tables
💡 一句话要点
提出双环自演进框架以解决多轮同理对话中的情感反馈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 同理对话 情感反馈 强化学习 双环自演进 多轮交互 用户模拟器 策略优化
📋 核心要点
- 现有方法在多轮同理对话中未能有效处理情感反馈，导致策略能力与训练经验不匹配。
- 本文提出双环自演进框架，通过可验证的情感反馈优化多轮对话策略，提升同理心表现。
- 在SAGE数据集上，框架将Qwen3-8B的整体得分从53.87提升至79.24，超越了基线方法7.23分。
📝 摘要（中文）
大型语言模型在对话能力上表现出色，但同理心能力仍然面临挑战。由于用户逐步披露关切、情感随时间演变，且早期回应会影响信任度和接受度，因此同理支持本质上是多轮且依赖路径的。通过可验证的情感奖励进行强化学习，为长期交互提供了可扩展的监督。然而，现有方法在演变对话策略时保持训练交互分布不变，导致策略能力与训练经验之间存在不匹配。本文提出了一种双环自演进框架，利用可验证的情感反馈进行优化。内环通过连续情感奖励优化多轮策略，外环则利用相同结果估计策略相关的交互效用并调整经验。实验结果表明，该框架在SAGE数据集上显著提升了Qwen3-8B的表现。
🔬 方法详解
问题定义：本文旨在解决多轮同理对话中情感反馈的有效利用问题。现有方法在演变对话策略时未能动态调整训练交互分布，导致策略能力与实际经验不匹配。
核心思路：提出双环自演进框架，通过内外环的协同优化，利用可验证的情感反馈来动态调整对话策略，从而提升同理心能力。内环优化多轮策略，外环则评估策略相关的交互效用。
技术框架：框架分为内环和外环两个部分。内环在固定用户模拟器和验证器的情况下，使用连续的情感奖励优化多轮对话策略；外环则利用内环结果评估交互效用并调整经验。
关键创新：最重要的创新在于双环自演进机制的引入，内外环的协同优化使得策略能够在动态环境中自我调整，克服了传统方法的局限性。
关键设计：框架中采用了分组策略，保持场景和交互状态不变，以优先考虑那些接近策略能力边界的条件。此外，采用层次控制器在支持意图之间共享证据，并通过不确定性引导探索和均匀重演来防止过早排除。
🖼️ 关键图片
📊 实验亮点
实验结果显示，双环自演进框架在SAGE数据集上将Qwen3-8B的整体得分从53.87提升至79.24，相较于基线方法提升了7.23分，展现出显著的性能改进。
🎯 应用场景
该研究的潜在应用领域包括智能客服、心理健康支持和社交机器人等。通过提升对话系统的同理心能力，可以更好地满足用户需求，增强用户体验，未来可能在情感计算和人机交互领域产生深远影响。
📄 摘要（原文）
Large language models have demonstrated conversational capabilities, yet empathetic competence remains challenging. Empathetic support is inherently multi-turn and path-dependent: users disclose concerns gradually, emotions evolve over time, and early responses shape trust and receptivity. Reinforcement learning with verifiable emotion rewards provides scalable supervision for long-horizon interactions. However, existing methods evolve the dialogue policy while keeping its training interaction distribution fixed, creating a mismatch between policy competence and training experience. We introduce a dual-loop self-evolution framework driven by verifiable emotion feedback. With the user simulator and verifier frozen, the inner loop optimizes the multi-turn policy using continuous emotion rewards, while the outer loop uses the same outcomes to estimate policy-relative interaction utility and adapt experience. To obtain estimates from sparse, stochastic rollouts, the framework holds the scenario and interaction state constant within each group and prioritizes conditions whose group pass rates lie near the policy's competence boundary. A hierarchical controller shares evidence across support intents, while uncertainty-guided exploration and uniform rehearsal prevent premature exclusion. The resulting distribution generates trajectories, closing both loops without increasing the rollout budget. On SAGE, our framework raises Qwen3-8B Overall from 53.87 to 79.24 and outperforms protocol-matched uniform emotion-reward reinforcement learning by 7.23 points.