TerraTransfer: Learning End-to-End Driving Policies Without Expert Demonstrations
作者: Zikang Xiong, Weixin Li, Zhouchonghao Wu, Akshay Rangesh, Saarth Bonde, Grantland Hall, Chen Tang, Yihan Hu, Wei Zhan
分类: cs.CV, cs.AI, cs.RO
发布日期: 2026-06-16
💡 一句话要点
提出TerraTransfer以解决无专家示范的端到端驾驶策略学习问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 自动驾驶 强化学习 自我对弈 视觉对齐 策略学习 无监督学习 3D模拟
📋 核心要点
- 现有的端到端自动驾驶方法在训练过程中需要大量的专家示范，成本高且效率低。
- 本文通过自我对弈的方式预训练策略，解耦驾驶学习与视觉学习，降低了对专家示范的依赖。
- 在光线逼真的3D场景中，所提出的方法在性能上与现有方法相当或更优，展示了良好的应用潜力。
📝 摘要（中文）
端到端的自动驾驶在基准测试和实际部署中已实现了最先进的性能。然而，现有的训练方法在各个阶段都非常昂贵，收集和标注数百万个驾驶帧的成本高昂，基于图像的闭环强化学习受到光线逼真渲染和大型视觉骨干网络前向传递的每步成本的限制。本文提出了一种新的方法，通过自我对弈在向量化模拟器中改变经济学，利用丰富的状态分布来解耦驾驶学习与视觉学习。我们通过自我对弈预训练单一策略，然后通过动作KL散度和批量关系低秩结构损失将其潜在空间与预训练的视觉骨干对齐。在光线逼真的3D高斯喷溅闭环场景中，所得到的端到端策略的表现超过了以往的方法。
🔬 方法详解
问题定义：本文旨在解决端到端自动驾驶策略学习中对专家示范的依赖问题。现有方法需要大量标注数据和高昂的训练成本，限制了其应用和推广。
核心思路：论文提出通过自我对弈在向量化模拟器中进行策略预训练，利用丰富的状态分布来解耦驾驶策略学习与视觉学习，从而降低对专家示范的需求。
技术框架：整体架构包括自我对弈预训练阶段和潜在空间对齐阶段。首先，通过自我对弈生成大量驾驶数据，然后将生成的策略与预训练的视觉骨干进行对齐。
关键创新：最重要的创新在于通过自我对弈生成的策略进行潜在空间对齐，而不是依赖于传统的专家示范。这种方法显著降低了数据收集的成本和复杂性。
关键设计：在对齐过程中，使用了动作KL散度和批量关系低秩结构损失作为损失函数，确保策略与视觉信息的有效结合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的端到端策略在光线逼真的3D高斯喷溅闭环场景中，性能与现有最先进的方法相当或更优，展示了在复杂环境下的有效性和鲁棒性。
🎯 应用场景
该研究的潜在应用场景包括自动驾驶汽车、智能交通系统以及机器人导航等领域。通过降低对专家示范的依赖，能够加速自动驾驶技术的开发与部署，提升智能交通的安全性与效率。
📄 摘要（原文）
End-to-end autonomous driving has achieved state-of-the-art performance on benchmarks and real-world deployments. Its standard training recipe, however, is expensive across all stages: collecting and labeling millions of driving frames is costly, and closed-loop RL on images is bottlenecked by the per-step cost of photorealistic rendering plus a forward pass through a large vision backbone. Self-play in vectorized simulators changes the economics: millions of rollout steps per second, and a state distribution naturally rich in collisions, near-misses, and recoveries that no driving log contains. Our approach exploits this asymmetry by decoupling learning to drive from learning to see. We pretrain a single policy by self-play, then align its latent space with a pretrained vision backbone, through the action KL divergence and a batch-relational low-rank structural loss. The action target comes from the self-play policy, so alignment never supervises against a logged trajectory: a paired dataset of (image, scene-state) frames suffices, with no need for the curated expert demonstrations that imitation pretraining is built on. On photorealistic 3D Gaussian splatting closed-loop scenarios, the resulting end-to-end policy matches or exceeds prior end-to-end methods.