Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

📄 arXiv: 2506.13583v1 📥 PDF

作者: Bernhard Hilpert, Muhan Hou, Kim Baraka, Joost Broekens

分类: cs.HC, cs.AI, cs.RO

发布日期: 2025-06-16

💡 一句话要点

提出基于观察的范式以提升人类对强化学习代理学习过程的理解

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 人机交互 可解释性 学习机制 决策制定 教育技术 智能代理

📋 核心要点

  1. 现有的强化学习代理学习行为往往难以被人类直观理解，导致在协作教学中反馈不佳。
  2. 本文提出了一种新的观察范式，通过直接评估人类对代理学习的推断，提升理解能力。
  3. 通过两项实验，确认了范式的可靠性，并揭示了人类对代理学习的四个核心主题及其演变关系。

📝 摘要（中文）

强化学习（RL）代理的学习行为常常难以被人类观察者直观理解，这可能导致在协作教学环境中反馈不佳。然而，人类如何感知和解释RL代理的学习行为仍然未知。本文通过两个实验采用自下而上的方法，提供了对人类观察者理解代理学习过程因素的数据驱动理解。研究中开发了一种新的基于观察的范式，直接评估人类对代理学习的推断。在一项探索性访谈研究中（N=9），识别出人类解释的四个核心主题：代理目标、知识、决策制定和学习机制。第二项确认性研究（N=34）在两个任务（导航/操作）和两种RL算法（表格/函数逼近）中应用了扩展版本的范式。对816个响应的分析确认了范式的可靠性并细化了主题框架，揭示了这些主题如何随时间演变和相互关联。研究结果为人类如何理解代理学习提供了以人为中心的视角，为设计可解释的RL系统和改善人机交互的透明度提供了可行的见解。

🔬 方法详解

问题定义：本研究旨在解决人类观察者对强化学习代理学习过程理解不足的问题。现有方法未能有效揭示人类如何解读代理的学习行为，导致反馈不佳。

核心思路：论文的核心思路是通过开发一种新的观察范式，直接评估人类对代理学习的推断，从而提供数据驱动的理解。这种方法能够揭示人类观察者在理解学习过程中的关键因素。

技术框架：整体架构包括两个主要阶段：首先是探索性访谈研究，识别核心主题；其次是确认性研究，应用扩展的观察范式进行验证。研究涵盖了不同任务和算法，以确保结果的广泛适用性。

关键创新：最重要的技术创新点在于开发了一个观察基础的范式，能够系统地评估人类对代理学习的推断。这与现有方法的本质区别在于其数据驱动的特性和对人类理解过程的直接关注。

关键设计：研究中使用了多种任务（导航和操作）和算法（表格和函数逼近），并通过对816个响应的分析，细化了主题框架，确保了研究结果的可靠性和有效性。具体的参数设置和损失函数未在摘要中详细说明，需参考完整论文。

📊 实验亮点

实验结果表明，研究开发的观察范式在816个响应中表现出高可靠性，确认了人类对代理学习的四个核心主题。这些主题的演变和相互关系为设计可解释的RL系统提供了重要见解，具有显著的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括人机交互、教育技术和智能代理系统的设计。通过提升人类对强化学习代理的理解，可以改善人机协作的效率和效果，推动智能系统在实际应用中的透明度和可解释性。

📄 摘要（原文）

Reinforcement Learning (RL) agents often exhibit learning behaviors that are not intuitively interpretable by human observers, which can result in suboptimal feedback in collaborative teaching settings. Yet, how humans perceive and interpret RL agent's learning behavior is largely unknown. In a bottom-up approach with two experiments, this work provides a data-driven understanding of the factors of human observers' understanding of the agent's learning process. A novel, observation-based paradigm to directly assess human inferences about agent learning was developed. In an exploratory interview study (\textit{N}=9), we identify four core themes in human interpretations: Agent Goals, Knowledge, Decision Making, and Learning Mechanisms. A second confirmatory study (\textit{N}=34) applied an expanded version of the paradigm across two tasks (navigation/manipulation) and two RL algorithms (tabular/function approximation). Analyses of 816 responses confirmed the reliability of the paradigm and refined the thematic framework, revealing how these themes evolve over time and interrelate. Our findings provide a human-centered understanding of how people make sense of agent learning, offering actionable insights for designing interpretable RL systems and improving transparency in Human-Robot Interaction.