Mixed-Reality Digital Twins: Leveraging the Physical and Virtual Worlds for Hybrid Sim2Real Transition of Multi-Agent Reinforcement Learning Policies
作者: Chinmay Vilas Samak, Tanmay Vilas Samak, Venkat Narayan Krovi
分类: cs.RO, cs.LG, cs.MA
发布日期: 2024-03-16 (更新: 2026-02-23)
备注: Accepted in IEEE Robotics and Automation Letters (RA-L) and additionally accepted to be presented at IEEE International Conference on Robotics and Automation (ICRA) 2026
期刊: IEEE Robotics and Automation Letters, vol. 10, no. 9, pp. 9040-9047, Sept. 2025
💡 一句话要点
提出混合现实数字双胞胎框架以加速多智能体强化学习训练
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体强化学习 混合现实 数字双胞胎 仿真到现实 并行化训练 系统域随机化 网络物理系统
📋 核心要点
- 现有的多智能体强化学习方法在复杂的网络物理系统中训练时间长，且在现实环境中部署面临多种限制。
- 本文提出了一种混合现实数字双胞胎框架，通过按需扩展并行化仿真工作负载和混合仿真到现实实验来加速训练。
- 实验结果显示，采用该框架后训练时间可减少76.3%，而sim2real差距低至2.9%，显著提升了效率和效果。
📝 摘要（中文）
多智能体强化学习（MARL）在网络物理车辆系统中的应用通常需要较长的训练时间，且在现实世界中部署训练好的策略面临环境特征丰富性和多物理代理的限制。本文提出了一种混合现实（MR）数字双胞胎（DT）框架，旨在通过按需选择性扩展并行化仿真工作负载来加速训练，并在混合仿真到现实（sim2real）实验中沉浸MARL策略。通过两个典型用例展示了该框架的可行性和性能，研究了代理和环境并行化对训练时间的影响，以及系统域随机化对零样本sim2real转移的影响。结果表明，采用该并行化方案可将训练时间减少多达76.3%，而使用该部署方法的sim2real差距低至2.9%。
🔬 方法详解
问题定义：本文旨在解决多智能体强化学习在网络物理车辆系统中训练时间过长和现实环境部署困难的问题。现有方法在训练时需要大量的物理代理和丰富的环境特征，这在实际应用中常常受到经济、物理、能量或安全等限制。
核心思路：提出的混合现实数字双胞胎框架通过按需扩展并行化仿真工作负载，提升训练速度，并通过混合仿真到现实的实验方式，增强MARL策略的适用性。
技术框架：该框架包括两个主要模块：一是并行化仿真模块，负责高效处理多个代理和环境的训练；二是混合仿真到现实模块，确保训练策略能够在现实环境中有效应用。
关键创新：最重要的创新在于通过并行化处理和混合现实环境的结合，显著缩短了训练时间，并降低了sim2real转移的性能差距。这一方法与传统的单一仿真环境训练方式有本质区别。
关键设计：在设计中，采用了系统域随机化技术，以增强模型的泛化能力；并行化训练时，设置了多个代理和环境的并行运行参数，以优化计算资源的使用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用提出的并行化方案后，训练时间减少了76.3%，而使用该框架进行的sim2real转移的性能差距低至2.9%。这些结果显示了该框架在提升训练效率和实际应用能力方面的显著优势。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人协作等。通过加速多智能体系统的训练过程，能够更快地将理论成果转化为实际应用，提升系统的智能化水平和安全性。未来，该框架有望在更多复杂的网络物理系统中得到应用，推动相关领域的发展。
📄 摘要（原文）
Multi-agent reinforcement learning (MARL) for cyber-physical vehicle systems usually requires a significantly long training time due to their inherent complexity. Furthermore, deploying the trained policies in the real world demands a feature-rich environment along with multiple physical embodied agents, which may not be feasible due to monetary, physical, energy, or safety constraints. This work seeks to address these pain points by presenting a mixed-reality (MR) digital twin (DT) framework capable of: (i) boosting training speeds by selectively scaling parallelized simulation workloads on-demand, and (ii) immersing the MARL policies across hybrid simulation-to-reality (sim2real) experiments. The viability and performance of the proposed framework are highlighted through two representative use cases, which cover cooperative as well as competitive classes of MARL problems. We study the effect of: (i) agent and environment parallelization on training time, and (ii) systematic domain randomization on zero-shot sim2real transfer, across both case studies. Results indicate up to 76.3% reduction in training time with the proposed parallelization scheme and sim2real gap as low as 2.9% using the proposed deployment method.