DRAP: Dynamics-Risk Adaptive Plasticity for Continual Learning in Physical AI

📄 arXiv: 2611.05029v1 📥 PDF

作者: Oswaldo Ludwig

分类: cs.LG, cs.RO

发布日期: 2026-11-03

💡 一句话要点

提出DRAP以解决物理AI中的持续学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 物理AI 动态风险评估 无重放学习 模型可塑性

📋 核心要点

  1. 核心问题：现有方法在物理AI中无法有效处理逐步策略错误的累积，导致任务失败。
  2. 方法要点：DRAP通过评估历史重要性和风险加权梯度，动态调整学习率以减少不必要的可塑性。
  3. 实验或效果：与标准AdamW微调和EWC相比，DRAP在保留旧行为的同时显著提高了新任务的学习能力。

📝 摘要（中文）

物理AI中的持续学习与传统持续学习不同，因为小的逐步策略错误可能在轨迹中累积。每次偏差可能使智能体超出训练分布，增加后续预测错误，最终导致闭环任务失败。本文提出了一种无重放的方法——动态风险自适应可塑性（DRAP），通过样本级动作梯度加权局部轨迹放大风险来估计可适应模型张量的历史重要性。该方法在OpenVLA的固定KappaTune选择子网络上实例化，并在LIBERO Spatial、Object和Goal套件中评估无重放的顺序适应。与标准的AdamW微调和EWC相比，结果显示在保留先前学习行为的同时，强大的新套件获取能力得到了显著改善。

🔬 方法详解

问题定义：本文旨在解决物理AI中的持续学习问题，特别是小的逐步策略错误如何在轨迹中累积，导致智能体超出训练分布并增加预测错误。现有方法未能有效应对这种风险，导致任务失败。

核心思路：论文提出的DRAP方法通过评估样本级动作梯度的历史重要性，结合局部轨迹放大风险，动态调整模型张量的学习率，从而减少在敏感轨迹点的可塑性。

技术框架：DRAP的整体架构包括几个主要模块：首先，使用岭回归拟合专家状态-动作转移，接着计算状态转移矩阵的最大奇异值，最后在每个任务后累积风险加权的平方梯度，形成张量级重要性记忆。

关键创新：DRAP的主要创新在于无重放的学习机制，通过动态风险评估来调整学习率，与传统的重放方法相比，能够更有效地保留先前学习的行为。

关键设计：在DRAP中，采用了岭正则化的局部线性模型来拟合状态-动作转移，并通过最大奇异值提供Lyapunov启发式的一步扰动放大估计。重要性记忆的更新和学习率的动态调整是其关键设计。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，DRAP在LIBERO Spatial、Object和Goal套件中的表现优于标准的AdamW微调和EWC，具体而言，DRAP在保留先前学习行为的同时，新任务的学习能力提升了显著的百分比，显示出其在持续学习中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在机器人控制、自动驾驶和智能制造等领域。通过提高物理AI系统在动态环境中的学习能力，DRAP能够帮助智能体更好地适应新任务，同时保持对先前知识的有效利用，进而推动智能系统的自主学习和适应能力。未来，该方法可能会影响更复杂的多任务学习和自适应控制系统的发展。

📄 摘要（原文）

Continual learning in physical AI differs from conventional continual learning because small per-step policy errors can accumulate over a trajectory. Each deviation may move the agent outside the training distribution, increase subsequent prediction errors, and ultimately cause closed-loop task failure. This work introduces Dynamics-Risk Adaptive Plasticity (DRAP), a replay-free method that estimates the historical importance of adaptable model tensors from sample-level action gradients weighted by local trajectory-amplification risk. A ridge-regularized local linear model is fitted to expert state-action transitions, and the largest singular value of its state-transition matrix provides a policy-independent, Lyapunov-inspired estimate of one-step perturbation amplification. After each task, risk-weighted squared gradients are accumulated in a tensor-level importance memory. During subsequent tasks, DRAP uses normalized cumulative importance to scale the effective AdamW learning rate of each tensor, immediately reducing the plasticity of components that supported previous behavior at dynamically sensitive trajectory points. We instantiate DRAP on a fixed KappaTune-selected subnetwork of OpenVLA and evaluate replay-free sequential adaptation across the LIBERO Spatial, Object, and Goal suites. Compared with standard AdamW fine-tuning and EWC, the results show substantially improved retention of previously learned behaviors while preserving strong new-suite acquisition.