PersonaDrive: Human-Style Retrieval-Augmented VLA Agents for Closed-Loop Driving Simulation
作者: Mahmoud Srewa, Praneetsai Iddamsetty, Mohammad Abdullah Al Faruque, Salma Elmalaki
分类: cs.AI, cs.CL
发布日期: 2026-06-12
💡 一句话要点
提出PersonaDrive以解决闭环驾驶模拟中风格多样性不足的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 闭环驾驶模拟 风格多样性 视觉-语言-动作 人类驾驶示范 自动驾驶系统 交通行为研究 检索增强
📋 核心要点
- 现有闭环驾驶模拟器中的非自我交通代理行为缺乏多样性，主要依赖于规则基础或单一行为模式的学习模型。
- 本文提出PersonaDrive，通过从风格指令的人类驾驶数据集中检索示范，条件化视觉-语言-动作（VLA）驾驶代理，以实现风格多样性。
- 在Bench2Drive上，PersonaDrive在无风格条件下的驾驶得分显著提高，且在风格条件下各风格得分均为最高，表现出良好的速度和加速度提升。
📝 摘要（中文）
闭环驾驶模拟器通常使用规则基础或单一行为模式的学习模型生成非自我交通代理，导致行为缺乏多样性。近期研究尝试通过后期标签或大语言模型推断的奖励权重引入风格变化，但这些信号仅作为风格奖励的代理，而非人类驾驶示范。本文提出PersonaDrive，一个基于视觉-语言-动作（VLA）的驾驶代理，利用从风格指令人类驾驶数据集中检索的示范进行条件化。该方法通过三阶段流程实现：首先，使用图像-文本相似度分数进行离线三元组挖掘；其次，训练轻量级检索头，将冻结的视觉特征与小型控制编码器融合；最后，微调单一VLA主干，将检索到的上下文点视为行为示范。在Bench2Drive上，PersonaDrive在无风格条件下的驾驶得分比SimLingo提高4.6%，比HiP-AD提高2.5%。在风格条件下，各风格的驾驶得分均为最高，且平均速度和加速度分别提高18%和25%。
🔬 方法详解
问题定义：本文旨在解决闭环驾驶模拟中非自我交通代理行为缺乏多样性的问题。现有方法主要依赖于规则基础或单一行为模式的学习模型，导致生成的代理行为相似，缺乏人类驾驶的多样性和风格。
核心思路：论文提出的PersonaDrive通过条件化VLA驾驶代理，利用从风格指令的人类驾驶数据集中检索的示范，来实现风格多样性。这种方法能够在不需要针对每种风格进行重新训练的情况下，灵活地选择不同的驾驶风格。
技术框架：PersonaDrive的整体架构分为三个主要阶段：第一阶段是离线三元组挖掘，通过结合图像-文本相似度分数对人类驾驶数据进行处理；第二阶段是训练轻量级检索头，将冻结的视觉特征与小型控制编码器融合；第三阶段是微调单一的VLA主干，以便在预测路径点时将检索到的上下文点视为行为示范。
关键创新：PersonaDrive的关键创新在于其通过检索人类驾驶示范来实现风格多样性，区别于传统方法依赖于规则或单一行为模型。这种方法使得在闭环模拟中能够生成更为真实和多样的驾驶行为。
关键设计：在设计上，PersonaDrive使用了图像-文本相似度评分来进行三元组挖掘，并采用轻量级的检索头结构，以确保在不同风格数据库之间的快速切换。此外，微调的VLA主干能够有效处理检索到的上下文信息，提升驾驶决策的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PersonaDrive在无风格条件下的驾驶得分比SimLingo提高4.6%，比HiP-AD提高2.5%。在风格条件下，PersonaDrive在每种风格下均达到了最高的驾驶得分，且其最弱风格的表现超过了最强基线DMW，提升幅度达到5.4%。同时，平均速度和加速度分别提高了18%和25%。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶系统、驾驶模拟器开发和交通行为研究。通过引入人类风格的多样性，PersonaDrive能够提升模拟器的真实感和适应性，从而为自动驾驶技术的研发提供更为丰富的训练数据和测试环境，推动智能交通系统的发展。
📄 摘要（原文）
Closed-loop driving simulators typically populate their environments with non-ego traffic agents that behave largely the same way, produced either by rule-based traffic managers or by learned models trained toward a single behavioral mode. Recent work introduces style variation through post-hoc labels on observational data or LLM-inferred reward weights, but these signals act as proxies for what a style should reward rather than demonstrations of humans explicitly asked to drive in that style. We introduce PersonaDrive, a pipeline that conditions a vision-language-action (VLA) driving agent on retrieved demonstrations from a style-instructed human driving dataset, in which participants drive CARLA leaderboard routes under aggressive, neutral, and conservative instructions on a driver-in-the-loop rig. The pipeline has three stages: (i) offline triplet mining over per-style human driving data using a combined image-text similarity score; (ii) training a lightweight retrieval head that fuses frozen visual features with a small control encoder over per-style databases; and (iii) fine-tuning a single VLA backbone to treat retrieved context points as in-context behavioral demonstrations during waypoint prediction. At inference, the same backbone is conditioned on any style by swapping which per-style database the retrieval head queries, so selecting a style requires no per-style retraining while enabling human-style, style-diverse non-ego agents for closed-loop simulation. On Bench2Drive, PersonaDrive (no style) improves the driving score by 4.6% over SimLingo and 2.5% over HiP-AD, and under style conditioning attains the highest driving score in every style within a roughly 2% band (its weakest style surpassing the strongest baseline, DMW, by 5.4%), while average speed and acceleration rise by 18% and 25% from the conservative to the aggressive instruction.