Hyperbolic Inverse Reinforcement Learning
作者: Iulia Rusu, Anoop Praturu, Sergei Gepshtein, Tatyana Sharpee
分类: cs.LG
发布日期: 2026-10-30
💡 一句话要点
提出超曲率逆强化学习以提升奖励函数的解释性与预测准确性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 逆强化学习 超曲率几何 奖励函数 特征空间 人类行为建模 智能系统设计 复杂环境
📋 核心要点
- 现有的逆强化学习方法在奖励函数的计算上缺乏对特征空间几何结构的考虑，导致预测准确性和可解释性不足。
- 本文提出的超曲率逆强化学习通过将奖励参数化为特征向量与学习参数向量之间的超曲率距离，提供了一种新的解决方案。
- 实验结果显示，Hyperbolic IRL在多个基准测试中与最先进模型的性能相当，并在低数据限制和密集环境中表现优异。
📝 摘要（中文）
逆强化学习（IRL）旨在推断观察行为背后的奖励函数，但其预测准确性和可解释性依赖于如何从基础特征计算奖励。以神经电路中的几何组织为灵感，本文提出超曲率逆强化学习（Hyperbolic IRL），将奖励参数化为特征向量与学习参数向量之间的超曲率距离及其欧几里得距离的函数。实验结果表明，Hyperbolic IRL在低数据限制和密集环境中表现优异，且在博物馆房间中应用时揭示了奖励结构，显示出不仅依赖于单个展品距离特征，还依赖于它们之间的不可分离结合。这些结果表明，超曲率奖励参数化可以提高IRL的预测准确性和可解释性。
🔬 方法详解
问题定义：本文旨在解决逆强化学习中奖励函数计算的准确性和可解释性不足的问题，现有方法未考虑特征空间的几何结构。
核心思路：论文提出超曲率逆强化学习，通过将奖励函数参数化为特征向量与学习参数向量之间的超曲率距离，结合欧几里得距离，来改善奖励函数的表现。
技术框架：整体架构包括特征提取模块、超曲率距离计算模块和奖励函数优化模块，采用线性和非线性基线进行对比实验。
关键创新：最重要的技术创新在于引入超曲率几何概念，使得奖励函数能够更好地反映特征之间的复杂关系，区别于传统的线性或简单非线性方法。
关键设计：在参数设置上，采用了超曲率距离的计算方法，并设计了适应性损失函数以优化奖励函数的学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Hyperbolic IRL在多个线性和非线性逆强化学习基线下表现出色，尤其在低数据限制和密集环境中，性能与最先进模型相当，且在博物馆导航任务中揭示了复杂的奖励结构。
🎯 应用场景
该研究的潜在应用领域包括人类行为建模、机器人导航和智能系统设计等。通过更好地理解奖励结构，Hyperbolic IRL可以帮助设计更高效的学习算法，提升智能体在复杂环境中的决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Inverse reinforcement learning (IRL) seeks to infer the reward function underlying observed behavior, but its predictive accuracy and interpretability depend on how that reward is computed from the underlying features. While prior IRL reward functions have been implemented through a variety of techniques including linear weights, neural networks, or other function approximators, none make assumptions about the geometry of the underlying feature space. Inspired by geometric organization observed in neural circuits, we introduce Hyperbolic inverse reinforcement learning (Hyperbolic IRL), which parameterizes reward as a function of Hyperbolic distance between the feature vector and a learned parameter vector, as well as its Euclidean distance variant. We tested our methods against a range of linear and nonlinear IRL baselines under both deterministic and stochastic policies. Our Hyperbolic approach achieved comparable performance to state-of-the-art models on established benchmarks and excelled in the low data limit and across dense environments. Applied to human navigation among multiple exhibits in a museum room, Hyperbolic IRL reveals reward structure that depends not only on individual exhibit-distance features, but also on non-separable conjunctions between them. Together, these results demonstrate that a Hyperbolic reward parameterization can improve both the predictive accuracy and interpretability of IRL, providing a framework for studying how non-separable, conjunctive structure can begin to explain behavior.