Controllable Sim Agents with Behavior Latents
作者: Juanwu Lu, Junyu Zhu, Ziran Wang
分类: cs.RO, cs.LG
发布日期: 2026-07-05
💡 一句话要点
提出可控神经变分代理以解决交通模拟中的行为可控性问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 交通模拟 行为可控性 神经网络 变分推断 自动驾驶 奖励信号 智能系统
📋 核心要点
- 现有的交通模拟方法在行为可控性和真实感方面存在不足，难以满足工程师的需求。
- 本文提出的CNeVA框架通过学习每个代理的高斯行为潜变量，实现了对代理行为的可控性和可解释性。
- 在Waymo开放运动数据集上的实验表明，CNeVA在真实感和可控性方面优于现有的模仿模型，且避免了奖励黑客问题。
📝 摘要（中文）
现实交通模拟需要能够模仿记录行为并沿可解释轴线进行引导的代理。这样的可控性使工程师能够隔离变量、重现特定边缘案例，并在没有现实风险的情况下测试自主系统。本文提出了可控神经变分代理（CNeVA），该框架通过闭式共轭变分更新，从每个代理的每通道折扣回报中推断出高斯行为潜变量，并条件化一个经过混合通道掩码课程训练的修正流轨迹生成器，以实现无分类器引导。为了解决奖励信号稀缺的问题，我们提出了软资格门，替代了硬二元阈值，采用平滑的指数衰减，保留了近阈值代理的梯度信号。在Waymo开放运动数据集上，CNeVA在基准测试中实现了竞争性的真实感，同时展现了高阶模仿模型所缺乏的每通道可控性。基于速度和加速度的引导产生单调响应，避免了奖励黑客行为。
🔬 方法详解
问题定义：本文旨在解决交通模拟中代理行为的可控性问题。现有方法在真实感和可控性方面存在不足，难以有效隔离变量和重现特定场景。
核心思路：CNeVA框架通过推断每个代理的高斯行为潜变量，结合修正流轨迹生成器，实现了对代理行为的可控性。设计上采用了无分类器引导，以提高生成轨迹的质量和可解释性。
技术框架：CNeVA的整体架构包括高斯行为潜变量的推断模块、修正流轨迹生成器和软资格门。推断模块通过闭式共轭变分更新进行训练，生成器则在混合通道掩码课程下进行优化。
关键创新：最重要的创新在于引入了软资格门，替代了传统的硬二元阈值，允许平滑的奖励信号传递，从而提高了近阈值代理的学习效果。这一设计显著改善了代理的行为可控性。
关键设计：在参数设置上，采用了混合通道掩码课程以增强生成器的引导能力。损失函数设计上，结合了行为潜变量的推断损失和生成轨迹的真实感损失，以确保生成结果的高质量和可控性。
🖼️ 关键图片
📊 实验亮点
在Waymo开放运动数据集上的实验结果显示，CNeVA在真实感方面达到了竞争水平，并展现了每通道的可控性，优于高阶模仿模型。具体而言，基于速度和加速度的引导产生了单调响应，避免了奖励黑客行为，确保了安全性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、交通管理和智能城市系统。通过实现对模拟代理行为的可控性，工程师可以在安全的环境中测试和优化自主系统，降低实际测试中的风险和成本。未来，该技术可能推动更复杂的交通场景模拟和智能决策系统的发展。
📄 摘要（原文）
Realistic traffic simulation requires agents that imitate logged behavior and can also be steered along interpretable axes. Such controllability enables engineers to isolate variables, reproduce specific edge cases, and test autonomous systems without real-world risk. We introduce Controllable Neural Variational Agents (CNeVA), a controllable simulated-agent framework that learns to infer a per-agent Gaussian behavior latent from per-channel discounted returns via a closed-form conjugate variational update, conditioning a rectified-flow trajectory generator trained on a mixed channel-mask curriculum for classifier-free guidance. To tackle scarcity in reward signals, we propose soft eligibility gates that replace hard binary thresholds with smooth exponential decay, preserving the gradient signal for near-threshold agents. On the Waymo Open Motion Dataset, CNeVA attains competitive realism on the benchmark while exposing per-channel controllability that the higher-ranked imitation models lack. Speed- and acceleration-based steering produces monotone responses without stall-induced reward hacking. Safety controllability is monotone and substantial with the introduction of soft eligibility. We manage to achieve steerable map compliance under a context-residual return measure. Furthermore, our experiment demonstrates that steering metrics must be read alongside physical-plausibility guardrails to avoid reward-hacking confounds.