CMP: Cooperative Motion Prediction with Multi-Agent Communication

📄 arXiv: 2403.17916v3 📥 PDF

作者: Zehao Wang, Yuping Wang, Zhuoyuan Wu, Hengbo Ma, Zhaowei Li, Hang Qiu, Jiachen Li

分类: cs.RO, cs.AI, cs.CV, cs.LG, cs.MA

发布日期: 2024-03-26 (更新: 2025-03-12)

备注: IEEE Robotics and Automation Letters; Project website: https://cmp-cooperative-prediction.github.io/

DOI: 10.1109/LRA.2025.3546862

💡 一句话要点

提出CMP以解决协作运动预测中的信息共享问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 自动驾驶 协作感知 运动预测 车联网 LiDAR信号 多代理系统 信息共享

📋 核心要点

  1. 现有方法通常单独处理协作感知或运动预测，缺乏信息共享的统一框架，限制了CAVs的协作能力。
  2. CMP方法通过LiDAR信号输入，首次将感知与运动预测模块结合，提升了信息共享和预测精度。
  3. 实验结果显示，CMP在复杂场景下的平均预测误差降低了12.3%，显著提升了CAVs的协作性能。

📝 摘要（中文）

随着自动驾驶汽车（AVs）和车联网（V2X）通信技术的进步，协作连接与自动化车辆（CAVs）具备了更强的能力。本文提出的CMP方法利用LiDAR信号作为模型输入，增强了跟踪和预测能力。与以往单独关注协作感知或运动预测的研究不同，CMP首次统一解决了CAVs在感知和预测模块中共享信息的问题。该方法能够容忍现实中的V2X传输延迟，并处理庞大的感知表示。通过在OPV2V和V2V4Real数据集上的广泛实验，CMP在协作感知、跟踪和运动预测方面展现了显著的效果，平均预测误差比最强基线降低了12.3%。

🔬 方法详解

问题定义：本文旨在解决CAVs在运动预测中信息共享不足的问题。现有方法通常将协作感知与运动预测分开处理，导致预测精度和实时性不足。

核心思路：CMP方法通过整合感知与运动预测模块，利用LiDAR信号作为输入，增强了CAVs之间的信息共享能力，从而提高了运动预测的准确性和鲁棒性。

技术框架：CMP的整体架构包括感知模块、运动预测模块和预测聚合模块。感知模块负责处理LiDAR信号，运动预测模块进行动态预测，预测聚合模块则整合来自不同CAVs的预测结果，生成最终的运动预测。

关键创新：CMP的主要创新在于首次将协作感知与运动预测统一为一个框架，解决了信息共享的延迟问题，并能够处理复杂的感知数据表示。

关键设计：在设计中，CMP考虑了V2X通信的延迟，采用了特定的损失函数来优化预测精度，同时在网络结构上进行了调整，以适应大规模的感知数据处理。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CMP在OPV2V和V2V4Real数据集上的实验结果显示，平均预测误差比最强基线降低了12.3%，显著提升了协作感知和运动预测的性能，展示了在复杂场景下的优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和车联网技术。通过提高CAVs的协作能力，CMP能够在复杂交通环境中实现更安全、更高效的自动驾驶，推动智能交通的发展。

📄 摘要（原文）

The confluence of the advancement of Autonomous Vehicles (AVs) and the maturity of Vehicle-to-Everything (V2X) communication has enabled the capability of cooperative connected and automated vehicles (CAVs). Building on top of cooperative perception, this paper explores the feasibility and effectiveness of cooperative motion prediction. Our method, CMP, takes LiDAR signals as model input to enhance tracking and prediction capabilities. Unlike previous work that focuses separately on either cooperative perception or motion prediction, our framework, to the best of our knowledge, is the first to address the unified problem where CAVs share information in both perception and prediction modules. Incorporated into our design is the unique capability to tolerate realistic V2X transmission delays, while dealing with bulky perception representations. We also propose a prediction aggregation module, which unifies the predictions obtained by different CAVs and generates the final prediction. Through extensive experiments and ablation studies on the OPV2V and V2V4Real datasets, we demonstrate the effectiveness of our method in cooperative perception, tracking, and motion prediction. In particular, CMP reduces the average prediction error by 12.3% compared with the strongest baseline. Our work marks a significant step forward in the cooperative capabilities of CAVs, showcasing enhanced performance in complex scenarios. More details can be found on the project website: https://cmp-cooperative-prediction.github.io.