Sim2Real-AD: A Modular Sim-to-Real Framework for Deploying VLM-Guided Reinforcement Learning in Real-World Autonomous Driving

📄 arXiv: 2604.03497 📥 PDF

作者: Zilin Huang, Zhengyang Wan, Zihao Sheng, Boyue Wang, Junwei You, Sikai Chen

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出Sim2Real-AD框架以解决仿真到现实的自动驾驶部署问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 仿真到现实 强化学习 视觉语言模型 自动驾驶 电动交通 实时部署 策略转移

📋 核心要点

  1. 现有的基于VLM的强化学习方法在将仿真训练的策略应用于真实世界时面临显著的仿真与现实差距，限制了其实际应用。
  2. 本文提出的Sim2Real-AD框架通过将仿真与现实之间的差距分解为两个独立的维度，提供了一种新的转移保证，能够有效缩小部署差距。
  3. 作为概念验证，研究团队成功将CARLA训练的策略零-shot部署到真实车辆上，展示了该方法在复杂场景下的有效性和可行性。

📝 摘要（中文）

近年来，基于视觉语言模型（VLM）的强化学习（RL）受到广泛关注，因其用语义驱动的信号替代了脆弱的手工奖励。然而，将这种在仿真中训练的策略部署到真实车辆上仍然是一个基本挑战，因为它们依赖于仿真特有的观察和动作语义。本文提出Sim2Real-AD框架，识别出仿真与现实之间的差距可分解为感知与动态域差距及任务与几何差距，并通过重新投影真实感知和控制来缩小前者。该框架结合了几何观察桥、物理感知动作映射、两阶段渐进训练课程和实时部署管道，成功实现了在没有真实世界训练数据的情况下，将CARLA训练的VLM引导RL策略零-shot转移到全尺寸电动福特E-Transit货车上。

🔬 方法详解

问题定义：本文旨在解决基于VLM的强化学习策略在真实世界部署时面临的仿真与现实之间的差距问题。现有方法依赖于仿真特有的观察和动作语义，导致在真实环境中难以有效应用。

核心思路：论文提出的Sim2Real-AD框架通过将仿真与现实的差距分解为感知与动态域差距以及任务与几何差距，提供了一种新的转移保证。通过重新投影真实感知和控制到策略的训练流形上，能够在不进行真实世界训练的情况下缩小部署差距。

技术框架：Sim2Real-AD框架包含四个主要模块：几何观察桥（Geometric Observation Bridge）、物理感知动作映射（Physics-Aware Action Mapping）、两阶段渐进训练课程（Two-Phase Progressive Training）和实时部署管道（Real-time Deployment Pipeline）。这些模块协同工作，确保策略能够在真实环境中有效执行。

关键创新：该研究的主要创新在于提出了一种系统化的框架来处理仿真与现实之间的差距，尤其是通过分解差距为两个独立的维度，提供了更为灵活和可控的转移保证。这与传统方法相比，显著提升了策略在真实环境中的适应性。

关键设计：在设计上，框架通过几何观察桥实现真实感知的重投影，物理感知动作映射则确保动作语义的有效转换。此外，两阶段渐进训练课程和实时部署管道的设计，使得策略能够在复杂场景中进行有效的实时决策。具体的参数设置和损失函数设计在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Sim2Real-AD框架成功实现了CARLA训练的VLM引导RL策略在全尺寸电动福特E-Transit货车上的零-shot部署，能够在复杂的跟车、避障和停车标志场景中有效运行，展示了该方法的强大适应性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统以及电动运输平台。通过将仿真训练的策略有效转移到真实世界，能够支持更为高效和安全的智能驾驶解决方案，推动电动交通工具的普及与应用。

📄 摘要（原文）

Vision-language-model (VLM)-guided reinforcement learning (RL) has recently attracted significant attention for it, replacing brittle hand-crafted rewards with semantically grounded signals; however, deploying such simulation-trained policies on real vehicles remains a fundamental challenge, because they rely on simulator-native observations and simulator-coupled action semantics with no counterpart on physical hardware. We identify a general principle: the simulation-to-reality gap decomposes into two largely orthogonal axes, a sensing-and-dynamics domain gap and a task-and-geometry gap, the former closable without real-world policy training by re-projecting real perception and control onto the policy's training manifold. We formalize this as a transfer guarantee that bounds the deployment gap by three independently controllable error terms, and instantiate it as Sim2Real-AD, which combines a Geometric Observation Bridge, a Physics-Aware Action Mapping, a Two-Phase Progressive Training curriculum, and a Real-time Deployment Pipeline. As a proof of concept, a CARLA-trained VLM-guided RL policy is transferred zero-shot to a full-scale battery-electric Ford E-Transit van in Madison, WI, USA, and drives across car-following, obstacle-avoidance, and stop-sign scenarios using no real-world training data. To our knowledge, this is among the first zero-shot closed-loop deployments of a CARLA-trained VLM-guided RL policy on a full-scale real vehicle, and the decomposition offers a principled, broadly applicable route for moving simulation-trained, foundation-model-guided policies into the physical world, supporting energy-efficient intelligent driving on electrified transportation platforms. The demo video, code, and model checkpoint are available at:this https URL.