Power-Budgeted Underwater Vehicle Control via Constrained Reinforcement Learning
作者: Yinuo Wang, Gavin Tao, Yuze Liu
分类: cs.RO, cs.AI, cs.ET, eess.SP, eess.SY
发布日期: 2026-06-24
备注: 10 pages, 10 figures
💡 一句话要点
提出基于约束强化学习的水下车辆能量预算控制方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 水下控制 强化学习 能量预算 马尔可夫决策过程 PPO算法 能量效率 机器人技术
📋 核心要点
- 现有强化学习方法在优化任务准确性时，往往导致能量浪费和不稳定的推进行为。
- 本文提出将水下控制问题视为约束马尔可夫决策过程，明确设定推进器功率预算，采用PPO-Lagrangian算法求解。
- 实验表明，所提方法在不同车辆和任务中均能显著降低能量消耗，且保持任务准确性，提升幅度达14%至65%。
📝 摘要（中文）
水下车辆在固定的能量预算下运行，推进系统的快速耗能使得控制器在完成任务时需减少推进器功率，以延长任务范围和耐力。现有的强化学习方法虽然能够生成有效的无模型控制器，但仅优化任务准确性会导致能量浪费。本文将能量高效的水下控制问题形式化为一个约束马尔可夫决策过程，采用PPO-Lagrangian算法解决，明确设定能量预算。实验结果表明，该能量约束策略在所有设置中均能有效降低功率，减少幅度达14%至65%，且在大多数情况下保持任务准确性，提供了一种无需手动调节的能量高效控制方法。
🔬 方法详解
问题定义：本文旨在解决水下车辆在固定能量预算下的控制问题。现有方法通过能量惩罚调整奖励，但缺乏明确的能量预算设定，导致每个任务和车辆需手动调节权重，且可能引发能量消耗增加。
核心思路：论文提出将能量高效控制问题转化为约束马尔可夫决策过程，明确设定推进器功率预算，利用PPO-Lagrangian算法进行求解。通过这种方式，能够在不需要手动调节权重的情况下，自动适应不同车辆和任务的能量需求。
技术框架：整体架构包括状态空间、动作空间和奖励机制，核心模块为PPO-Lagrangian算法。该算法通过在线更新双变量来满足能量预算，确保控制策略的能量效率。
关键创新：最重要的创新在于将能量作为显式约束引入控制过程，避免了传统方法中对权重的手动调节需求，从而实现了更高效的能量管理。
关键设计：在设计中，明确设定了推进器功率预算的物理单位，采用了适应性更新机制来调整双变量，确保在不同任务和车辆中均能有效控制能量消耗。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的能量约束策略在十二个设置中均能有效降低功率，减少幅度达14%至65%，并在十个设置中保持了最佳的平滑性和任务准确性，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括水下探测、海洋科学研究和水下机器人任务等。通过优化水下车辆的能量使用效率，可以显著延长任务持续时间，提高任务成功率，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Underwater vehicles operate from a fixed onboard energy budget that propulsion rapidly depletes, so a controller that completes its task while drawing less thruster power directly extends mission range and endurance. Reinforcement learning yields capable model-free controllers for station-keeping and trajectory tracking, but optimizing task accuracy alone drives the policy toward oscillatory, energy-wasting actuation. The established remedy subtracts an energy penalty from the reward, yet this sets the task-power trade-off through a single weight with no physical units: a target power level cannot be specified, the weight must be re-tuned for every vehicle and task, and a mismatched weight can even raise power. This paper instead formulates energy-efficient underwater control as a constrained Markov decision process in which average thruster power is subject to an explicit budget, solved with a PPO-Lagrangian algorithm. The power level is set by declaring a budget in physical units, and a single dual variable is updated online to meet it for each vehicle and task, without manual weight search. Across three vehicles and four tasks in the MarineGym simulator, the energy-constrained policy draws the least power in all twelve settings, reducing it by 14--65\% (up to 64.9\%) over a task-only baseline and below an energy-reward baseline everywhere, while remaining the smoothest in ten settings and preserving task accuracy except in one deliberately power-limited regime. Imposing energy as an explicit constraint thus offers a tuning-free route to energy-efficient underwater control that needs no per-vehicle, per-task weight search.