Scheduled Curiosity-Deep Dyna-Q: Efficient Exploration for Dialog Policy Learning

📄 arXiv: 2402.00085v2 📥 PDF

作者: Xuecheng Niu, Akinori Ito, Takashi Nose

分类: cs.LG, cs.AI

发布日期: 2024-01-31 (更新: 2024-05-20)

备注: Accepted to IEEE Access

期刊: IEEE Access, vol. 12, pp. 46940-46952, 2024

DOI: 10.1109/ACCESS.2024.3376418

💡 一句话要点

提出SC-DDQ框架以提高对话策略学习的探索效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对话系统 强化学习 课程学习 好奇心驱动 Deep Dyna-Q 策略学习 用户交互

📋 核心要点

  1. 现有的对话策略学习方法通常需要大量的用户交互，训练过程效率低下，难以在有限的对话经验中有效学习。
  2. 本文提出的SC-DDQ框架结合了好奇心驱动和课程学习，通过设计不同的学习计划来优化训练过程。
  3. 实验结果显示，SC-DDQ在性能上显著优于DDQ和DQN，尤其是在采用适当的训练策略时，表现更为突出。

📝 摘要（中文）

基于强化学习训练任务导向对话代理的过程耗时且需要大量与真实用户的交互。如何在有限的对话经验中掌握对话策略仍然是一个障碍，影响代理的训练效率。为此，本文提出了基于最先进的模型强化学习对话模型Deep Dyna-Q的好奇心驱动课程学习框架SC-DDQ。我们为SC-DDQ和DDQ设计了不同的学习计划，采用经典课程学习和其反向策略。实验结果表明，引入调度学习和好奇心的新框架显著提升了DDQ和深度Q学习（DQN）的性能。

🔬 方法详解

问题定义：本文旨在解决任务导向对话代理在有限对话经验下的策略学习效率低下的问题。现有方法通常随机选择训练样本，导致训练效率和稳定性受损。

核心思路：提出SC-DDQ框架，通过引入好奇心驱动的课程学习，优化训练样本的选择顺序，以更好地模拟人类学习过程，从而提高训练效率。

技术框架：SC-DDQ框架基于Deep Dyna-Q模型，包含两个主要模块：调度学习模块和好奇心驱动模块。调度学习模块负责根据不同策略调整训练样本的选择，而好奇心驱动模块则激励代理探索未充分利用的对话状态。

关键创新：SC-DDQ的主要创新在于结合了调度学习和好奇心驱动的策略，使得训练过程更为高效。与传统方法相比，该框架能够更好地适应不同难度的训练样本。

关键设计：在训练过程中，采用了高熵的动作采样策略，以确保在初期阶段进行充分探索，而在后期阶段则降低探索程度，从而提高整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SC-DDQ在与DDQ和DQN的对比中，性能提升显著。具体而言，采用适当的训练策略后，SC-DDQ在对话策略学习的效率和稳定性上均有明显改善，尤其是在初期阶段的探索能力上表现突出。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和其他需要人机对话的系统。通过提高对话策略学习的效率，SC-DDQ框架能够加速对话代理的训练过程，提升用户体验，并在实际应用中实现更高的交互质量。

📄 摘要（原文）

Training task-oriented dialog agents based on reinforcement learning is time-consuming and requires a large number of interactions with real users. How to grasp dialog policy within limited dialog experiences remains an obstacle that makes the agent training process less efficient. In addition, most previous frameworks start training by randomly choosing training samples, which differs from the human learning method and hurts the efficiency and stability of training. Therefore, we propose Scheduled Curiosity-Deep Dyna-Q (SC-DDQ), a curiosity-driven curriculum learning framework based on a state-of-the-art model-based reinforcement learning dialog model, Deep Dyna-Q (DDQ). Furthermore, we designed learning schedules for SC-DDQ and DDQ, respectively, following two opposite training strategies: classic curriculum learning and its reverse version. Our results show that by introducing scheduled learning and curiosity, the new framework leads to a significant improvement over the DDQ and Deep Q-learning(DQN). Surprisingly, we found that traditional curriculum learning was not always effective. Specifically, according to the experimental results, the easy-first and difficult-first strategies are more suitable for SC-DDQ and DDQ. To analyze our results, we adopted the entropy of sampled actions to depict action exploration and found that training strategies with high entropy in the first stage and low entropy in the last stage lead to better performance.