TetraRL: A Self-Adaptive Runtime for On-Device Deep Reinforcement Learning Systems

📄 arXiv: 2606.13891v1 📥 PDF

作者: Zexin Li, Soheil Shirvani, Cong Liu

分类: eess.SY

发布日期: 2026-06-11

备注: Extension version of RTSS'23 and RTSS'24

💡 一句话要点

提出TetraRL以解决嵌入式深度强化学习系统的多目标优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 自适应系统 资源管理 动态电压频率调整 嵌入式系统 机器人技术 实时决策

📋 核心要点

  1. 现有的嵌入式深度强化学习方法在资源受限的硬件上难以同时优化实时性能、任务奖励、内存和能耗四个目标。
  2. TetraRL通过将嵌入式DRL视为统一优化问题，并利用偏好条件强化学习控制器动态调整目标权重，从而实现自适应优化。
  3. 实验结果显示，TetraRL在不同的DRL环境中有效平衡四个目标，且在运行时切换优化目标时表现出色，开销极小。

📝 摘要（中文）

自主机器人系统（如自动驾驶汽车、无人机和移动机器人）越来越依赖于嵌入式深度强化学习（DRL）以适应动态环境。与基于云的解决方案不同，嵌入式DRL必须在资源受限的硬件上直接进行训练和推理，同时保持及时的决策。这带来了一个基本挑战：平衡实时性能、任务奖励、内存利用率和能耗四个紧密耦合的目标。本文提出了TetraRL，一个自适应运行时框架，旨在解决这一四目标的嵌入式DRL优化问题。TetraRL将嵌入式DRL视为一个统一的优化问题，并采用偏好条件强化学习控制器动态导航权衡空间。实验结果表明，TetraRL能够有效平衡所有四个目标，并在不同运行时偏好下实现竞争性的权衡，且开销微乎其微。

🔬 方法详解

问题定义：本文旨在解决嵌入式深度强化学习系统在资源受限硬件上进行实时决策时，如何平衡实时性能、任务奖励、内存利用率和能耗四个目标的问题。现有方法往往只能独立优化这些目标，导致整体性能不佳。

核心思路：TetraRL的核心思路是将嵌入式DRL视为一个统一的优化问题，采用偏好条件强化学习控制器来动态调整四个目标之间的权衡。这种设计使得系统能够根据实际需求自适应地优化性能。

技术框架：TetraRL的整体架构包括统一资源管理抽象、硬件感知的动态电压频率调整（DVFS）控制，以及运行时覆盖层以确保约束的稳健执行。系统通过这些模块协同工作，实现对四个目标的动态优化。

关键创新：TetraRL的主要创新在于其自适应运行时框架，能够在不同的运行时偏好下有效平衡四个目标，且支持单一训练策略在多种优化目标间切换。这与传统方法的静态优化策略形成鲜明对比。

关键设计：在设计中，TetraRL采用了偏好条件强化学习控制器，结合了动态电压频率调整技术，以优化能耗和性能。此外，系统的资源管理模块确保了在不同任务和环境下的灵活性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TetraRL在不同的DRL环境中能够有效平衡实时性能、任务奖励、内存利用率和能耗四个目标，且在运行时切换优化目标时，性能损失几乎可以忽略不计。与基线相比，TetraRL在多个测试场景中展现出显著的性能提升，证明了其在实际应用中的有效性。

🎯 应用场景

TetraRL的研究成果在自主机器人、无人机和自动驾驶汽车等领域具有广泛的应用潜力。通过在资源受限的设备上实现高效的深度强化学习，TetraRL能够帮助这些系统更好地适应动态环境，提高决策的实时性和准确性，从而推动智能设备的普及和发展。

📄 摘要（原文）

Autonomous robotic systems, including autonomous vehicles, drones, and mobile robots, increasingly rely on on-device Deep Reinforcement Learning (DRL) to adapt to dynamic environments. Unlike cloud-based solutions, embedded DRL must perform training and inference directly on resource-constrained hardware while maintaining timely decision-making. This creates a fundamental challenge: balancing four tightly coupled objectives, real-time performance, task reward, memory utilization, and energy consumption. Optimizing these objectives independently often leads to suboptimal behavior, while conventional multi-objective methods may violate resource constraints and compromise reliability. This paper presents TetraRL, a self-adaptive runtime framework for tetra-objective on-device DRL. TetraRL formulates embedded DRL as a unified optimization problem over real-time, reward, RAM, and reserve (energy) objectives, and employs a preference-conditioned reinforcement learning controller to dynamically navigate the resulting trade-off space. The framework integrates a unified resource-management abstraction, hardware-aware DVFS control, and a runtime Override Layer for robust constraint enforcement. We implement TetraRL on NVIDIA Jetson AGX Orin and Orin Nano platforms and evaluate it across diverse DRL environments. Results show that TetraRL effectively balances all four objectives, achieves competitive trade-offs under varying runtime preferences, and incurs negligible overhead. Moreover, a single trained policy can support runtime-switchable optimization goals, providing a practical foundation for resource-aware and self-adaptive on-device DRL.