Leveraging Offline Data from Similar Systems for Online Linear Quadratic Control

📄 arXiv: 2505.09057v1 📥 PDF

作者: Shivam Bajaj, Prateek Jaiswal, Vijay Gupta

分类: eess.SY

发布日期: 2025-05-14

💡 一句话要点

提出基于离线数据的在线线性二次控制方法以解决Sim2real问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 线性二次调节器 Sim2real Thompson采样 控制理论 系统动态 贝叶斯遗憾 轨迹数据

📋 核心要点

  1. 现有的控制方法在模拟环境中训练后，往往无法有效迁移到真实系统，导致稳定性和性能下降。
  2. 本文提出了一种基于Thompson采样的算法，利用来自不同系统的状态-动作对轨迹来改善LQR控制器的性能。
  3. 实验结果表明，所提算法在小的系统差异性条件下，能够显著降低贝叶斯遗憾，相比于传统方法有明显提升。

📝 摘要（中文）

在本研究中，我们探讨了“Sim2real差距”对线性二次调节器（LQR）控制器稳定性和性能的影响。针对具有未知系统矩阵的LQR问题，我们提出了一种新算法，该算法结合了来自不同未知系统的状态-动作对的轨迹数据。通过利用Thompson采样，我们的方法不仅考虑了系统动态的均值，还考虑了不确定性。我们证明该算法在经过T个时间步后能够实现$ ilde{ ext{O}}({f(S,M_δ) ext{sqrt}{T/S}})$的贝叶斯遗憾，当系统之间的差异性$M_δ$足够小的时候，算法的表现优于不利用轨迹的简单策略。

🔬 方法详解

问题定义：本研究旨在解决在未知系统矩阵的线性二次调节器（LQR）设置中，模拟学习与真实系统之间的差距（Sim2real差距）所带来的控制性能下降问题。现有方法往往未能有效利用来自其他系统的轨迹数据，导致控制器在真实环境中的表现不佳。

核心思路：我们提出的算法通过结合来自不同未知系统的状态-动作对轨迹，利用Thompson采样来估计系统动态的均值和不确定性，从而提高控制器在真实环境中的适应性和稳定性。

技术框架：算法的整体流程包括：首先收集目标系统的状态-动作对数据，然后引入来自其他系统的轨迹数据，接着通过Thompson采样更新对系统动态的估计，最后基于更新后的模型进行控制决策。

关键创新：本研究的主要创新在于将来自不同系统的轨迹数据有效整合进LQR控制框架中，利用不确定性信息来优化控制策略，这一方法在处理系统间差异性时表现优于传统方法。

关键设计：算法中的关键参数包括轨迹长度$S$和系统差异性$M_δ$，损失函数设计为贝叶斯遗憾的度量，确保在控制决策中充分考虑不确定性。

📊 实验亮点

实验结果显示，所提算法在系统差异性较小的情况下，能够实现$ ilde{ ext{O}}({ ext{sqrt}{T/S}})$的贝叶斯遗憾，相比于不利用轨迹的简单策略，性能提升显著，验证了算法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、航空航天等需要高稳定性和高性能控制的系统。通过有效利用离线数据，能够在真实环境中实现更可靠的控制策略，降低开发成本和时间。未来，该方法可能推动更多领域的智能控制技术发展。

📄 摘要（原文）

``Sim2real gap", in which the system learned in simulations is not the exact representation of the real system, can lead to loss of stability and performance when controllers learned using data from the simulated system are used on the real system. In this work, we address this challenge in the linear quadratic regulator (LQR) setting. Specifically, we consider an LQR problem for a system with unknown system matrices. Along with the state-action pairs from the system to be controlled, a trajectory of length $S$ of state-action pairs from a different unknown system is available. Our proposed algorithm is constructed upon Thompson sampling and utilizes the mean as well as the uncertainty of the dynamics of the system from which the trajectory of length $S$ is obtained. We establish that the algorithm achieves $\tilde{\mathcal{O}}({f(S,M_δ)\sqrt{T/S}})$ Bayes regret after $T$ time steps, where $M_δ$ characterizes the \emph{dissimilarity} between the two systems and $f(S,M_δ)$ is a function of $S$ and $M_δ$. When $M_δ$ is sufficiently small, the proposed algorithm achieves $\tilde{\mathcal{O}}({\sqrt{T/S}})$ Bayes regret and outperforms a naive strategy which does not utilize the available trajectory.