Self-Explaining Reinforcement Learning for Mobile Network Resource Allocation

📄 arXiv: 2509.14925v1 📥 PDF

作者: Konrad Nowosadko, Franco Ruggeri, Ahmad Terra

分类: cs.LG, cs.NI

发布日期: 2025-09-18

💡 一句话要点

提出基于自解释神经网络的强化学习方法，用于解决移动网络资源分配问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自解释神经网络 可解释性 移动网络 资源分配

📋 核心要点

  1. 深度强化学习模型缺乏透明性，难以解释其决策过程，限制了在关键领域的应用。
  2. 利用自解释神经网络（SENN）框架，结合解释提取方法，在保证性能的同时提升模型的可解释性。
  3. 在移动网络资源分配问题上验证了SENN的有效性，实现了与现有方法相当的性能，并提供了鲁棒的解释。

📝 摘要（中文）

深度神经网络（DNN）加持的强化学习（RL）方法虽然强大，但通常缺乏透明性。其黑盒特性降低了解释性和可信度，尤其是在关键领域。为了解决RL任务中的这一挑战，我们提出了一种基于自解释神经网络（SENN）的解决方案，并结合了解释提取方法，以增强可解释性，同时保持预测准确性。我们的方法针对低维问题，生成模型行为的鲁棒的局部和全局解释。我们在移动网络中的资源分配问题上评估了所提出的方法，证明SENN可以构成具有竞争力的可解释解决方案。这项工作突出了SENN在提高低维任务中AI驱动决策的透明度和信任方面的潜力。我们的方法在提供稳健解释的同时，表现出与现有最先进方法相当的强大性能。

🔬 方法详解

问题定义：论文旨在解决移动网络资源分配问题，这是一个典型的低维度强化学习任务。现有基于深度神经网络的强化学习方法虽然性能优越，但由于其黑盒特性，缺乏可解释性，难以理解其决策依据，这在资源分配等关键领域会降低信任度。因此，如何提高强化学习模型在资源分配问题中的可解释性是一个重要的挑战。

核心思路：论文的核心思路是利用自解释神经网络（Self-Explaining Neural Networks, SENN）来构建强化学习模型。SENN的设计目标是在模型预测的同时，能够提供对预测结果的解释。通过将解释能力融入到模型结构中，可以在不显著降低性能的前提下，提高模型的可解释性。

技术框架：该方法的技术框架主要包括以下几个部分：首先，使用SENN作为强化学习智能体的策略网络。其次，设计合适的奖励函数，引导智能体学习最优的资源分配策略。然后，通过解释提取方法，从SENN中提取局部和全局的解释，从而理解智能体的决策过程。最后，通过实验验证SENN在资源分配问题上的性能和可解释性。

关键创新：该论文的关键创新在于将自解释神经网络（SENN）引入到强化学习的资源分配问题中。与传统的黑盒深度强化学习方法相比，SENN能够在做出决策的同时，提供对决策的解释，从而提高模型的可信度和可理解性。此外，该方法还针对低维问题进行了优化，以生成更鲁棒的解释。

关键设计：论文中SENN的具体网络结构和参数设置未知，但可以推断其关键设计包括：1) 特定的网络层设计，用于生成解释；2) 损失函数的设计，可能包含解释相关的正则化项，以保证解释的质量；3) 解释提取方法的选择，用于从SENN中提取有意义的解释。具体的强化学习算法（如Q-learning, SARSA, 或Policy Gradient）的选择也可能影响最终的性能。

📊 实验亮点

实验结果表明，基于SENN的强化学习方法在移动网络资源分配问题上取得了与现有最先进方法相当的性能。更重要的是，SENN能够提供对决策过程的解释，例如，哪些因素对资源分配决策影响最大。这些解释有助于理解智能体的行为，并提高对AI系统的信任度。虽然具体的性能提升数据未知，但论文强调了SENN在提供鲁棒解释的同时，保持了竞争力的性能。

🎯 应用场景

该研究成果可应用于各种需要透明和可信赖的AI决策场景，例如：智能交通、金融风控、医疗诊断等。通过提供可解释的决策过程，可以增强用户对AI系统的信任，促进AI技术在关键领域的应用。未来，该方法可以扩展到更高维度的问题，并与其他可解释性技术相结合，进一步提高AI系统的透明度和可靠性。

📄 摘要（原文）

Reinforcement Learning (RL) methods that incorporate deep neural networks (DNN), though powerful, often lack transparency. Their black-box characteristic hinders interpretability and reduces trustworthiness, particularly in critical domains. To address this challenge in RL tasks, we propose a solution based on Self-Explaining Neural Networks (SENNs) along with explanation extraction methods to enhance interpretability while maintaining predictive accuracy. Our approach targets low-dimensionality problems to generate robust local and global explanations of the model's behaviour. We evaluate the proposed method on the resource allocation problem in mobile networks, demonstrating that SENNs can constitute interpretable solutions with competitive performance. This work highlights the potential of SENNs to improve transparency and trust in AI-driven decision-making for low-dimensional tasks. Our approach strong performance on par with the existing state-of-the-art methods, while providing robust explanations.