Relational Multi-Agent Reinforcement Learning for Dynamic Pricing in High-Speed Railway Markets
作者: Enrique Adrian Villarrubia-Martin, David Muñoz-Valero, Luis Rodriguez-Benitez, Giovanni Montana, Luis Jimenez-Linares
分类: cs.LG, cs.AI, cs.MA
发布日期: 2026-07-06
备注: 46 pages, 14 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于关系图的多智能体强化学习以解决高铁市场动态定价问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动态定价 多智能体强化学习 图卷积网络 高铁市场 实体图建模 市场拓扑 策略优化
📋 核心要点
- 现有方法通常将观察视为无结构向量，忽视市场拓扑，导致智能体难以推断战略互动。
- 提出的实体图建模方法将环境视为操作单元的图，能够有效编码竞争与协调关系。
- 实验结果显示，该框架在高铁定价环境中实现了更高的收入和稳定性，优于多种基线方法。
📝 摘要（中文）
在自由化的铁路系统中，运营商必须在部分可观测的环境中动态设定价格，因其对目标和绩效保留私有信息，且监管限制禁止竞争者之间的直接信息交流以防止明显的合谋。因此，智能体必须仅从可观察的市场数据中推断战略互动，这对多智能体强化学习构成了重大挑战。为此，本文提出了一种实体图建模方法，将环境表示为操作单元的图，而非决策智能体或静态基础设施，从而编码实体之间的竞争、协调和连接关系。随后，扩展了多智能体双延迟深度确定性策略梯度算法，结合图形表示学习，通过多层关系图卷积网络处理实体特征，并通过学习的注意力机制进行聚合。实验结果表明，该框架在两个不同的市场复杂性设置中，相较于一系列关系和非关系基线，取得了更高的收入和稳定性。
🔬 方法详解
问题定义：本文旨在解决高铁市场中动态定价的挑战，现有方法未能有效利用市场拓扑信息，导致智能体在推断竞争策略时面临困难。
核心思路：通过引入实体图建模，将环境表示为操作单元的图，智能体可以从中学习到竞争、协调和连接关系，从而更好地推断市场动态。
技术框架：整体架构包括实体图的构建、基于图的特征学习和多智能体强化学习算法的扩展。主要模块包括多层关系图卷积网络和学习的注意力机制。
关键创新：最重要的创新在于将市场环境建模为图结构，利用图卷积网络处理特征，使得智能体能够更有效地学习到市场中的战略互动。
关键设计：采用多层关系图卷积网络进行特征提取，并通过注意力机制聚合信息，确保智能体能够关注到重要的市场关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的框架在两个不同的市场复杂性设置中，相较于多种关系和非关系基线，收入提高了显著的百分比，且在稳定性方面表现更佳，显示出该方法在动态定价中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括高铁及其他交通运输行业的动态定价策略优化。通过更精准的定价策略，运营商可以提高收益和市场竞争力，进而提升整体服务质量和客户满意度。未来，该方法也可扩展至其他需要动态定价的市场，如航空、酒店等领域。
📄 摘要（原文）
In liberalised railway systems, operators must set prices dynamically in an environment with partial observability, as they retain private information about their objectives and performance, where regulatory constraints prohibit communication or direct information exchange between competitors to prevent explicit collusion. Consequently, agents must learn to infer strategic interactions only from observable market data which presents a significant challenge for multi-agent reinforcement learning, where standard approaches typically treat observations as unstructured vectors, ignoring the underlying market topology that governs strategic interactions. To address this, an entity graph modelling approach is proposed, which represents the environment as a graph of operational units, rather than decision-making agents or static infrastructure, encoding competition, coordination, and connectivity relations between entities. Then, an extension of the multi-agent twin delayed deep deterministic policy gradient algorithm with graph-based representation learning processes the features of the entities through a multi-layer relational graph convolutional network and aggregates them via a learnt attention mechanism. Experimental results in a rail pricing reinforcement learning environment show that this novel framework achieves higher revenue and stability in two different settings of increasing market complexity compared to a representative selection of relational and non-relational baselines. The code is publicly available at: https://github.com/Kinrre/RelationalRailPricing-RL