Themis: An explainable AI-enabled framework for Reinforcement Learning with Human Feedback

📄 arXiv: 2606.24622v1 📥 PDF

作者: Andreas Chouliaras, Luke Connolly, Dimitris Chatzpoulos

分类: cs.AI, cs.HC

发布日期: 2026-06-23

备注: The extended version of a paper published at the 2026 IEEE Conference on Artificial Intelligence (CAI). Includes an additional appendix with extended derivations and supplementary results. The main paper has 8 pages, 6 figures, 1 table

期刊: Proc. 2026 IEEE Conference on Artificial Intelligence (CAI), Granada, Spain, 2026, pp. 98-105

DOI: 10.1109/CAI68641.2026.11536497

💡 一句话要点

提出Themis框架以解决强化学习中的人类反馈与透明性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 可解释人工智能 人类反馈 强化学习 实验框架 安全性 透明性 云平台 用户参与

📋 核心要点

  1. 现有的强化学习系统在训练过程中难以保证安全性，容易产生不良行为，缺乏有效的透明性和对齐机制。
  2. Themis框架结合了可解释性和人类反馈，提供了一个易于配置的测试与评估环境，支持多种实验设置。
  3. 实验结果显示，Themis能够训练出与真实奖励信号相匹配的奖励模型，并能支持大规模用户参与实验。

📝 摘要（中文）

训练安全的强化学习（RL）系统具有内在挑战，无法保证避免不良行为。有效的防御措施包括通过可解释性实现透明性和通过人类反馈实现对齐。尽管这两者显示出良好的效果，目前尚无公开可用的框架将其结合。为此，我们提出Themis，一个支持人类反馈的可解释AI测试与评估框架。Themis支持200多个广泛使用的环境，易于配置实验。我们的结果表明，Themis能够训练出与环境真实奖励信号匹配或超越的奖励模型，并提供一个云平台用于收集人类反馈和管理实验，支持大规模参与者组，且无需额外开发开销。

🔬 方法详解

问题定义：本论文旨在解决强化学习系统在训练过程中缺乏透明性和人类反馈对齐的问题。现有方法往往无法有效避免不良行为，且缺乏可解释性。

核心思路：Themis框架通过结合可解释人工智能（XAI）与人类反馈，提供了一种新的测试与评估方式，旨在提升强化学习系统的安全性与透明度。

技术框架：Themis的整体架构包括多个模块，支持200多个环境的实验配置，提供云平台用于人类反馈的收集与实验管理，确保用户友好和可扩展性。

关键创新：Themis的主要创新在于将可解释性与人类反馈结合在一起，形成一个统一的框架，解决了现有方法在透明性和对齐方面的不足。

关键设计：在设计中，Themis采用了灵活的实验配置参数，支持多种损失函数和网络结构，确保能够适应不同的实验需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Themis能够训练出与环境真实奖励信号相匹配的奖励模型，并在性能上超越基线，支持高达1000名用户同时参与实验，展示了其在大规模实验中的有效性。

🎯 应用场景

Themis框架在多个领域具有潜在应用价值，包括自动驾驶、医疗决策和智能助手等。通过提高强化学习系统的透明性和安全性，Themis能够帮助开发更可靠的AI系统，减少不良行为的发生，提升用户信任度。

📄 摘要（原文）

Training safe Reinforcement Learning (RL) systems is inherently challenging, with no guarantee of avoiding unwanted behaviors. The most effective defenses against this are (i) transparency through explainability and (ii) alignment via human feedback. While both show promising results, no publicly available framework currently combines them. To address this, we introduce Themis, an XAI-enabled testing and evaluation framework for Reinforcement Learning from Human Feedback. Themis supports over 200 widely used environments and is easily configurable for experiments in RL, transparency, and alignment. Our results show that Themis can train reward models that match or outperform the environment's true reward signal using human preferences. We also provide a cloud-based platform for collecting human feedback and managing experiments. It is user-friendly, auto-scalable, and supports large participant groups across multiple experiments without extra development overhead. Tests show Themis can support one thousand users in back-to-back experiments on a modest commercial machine.