MirrorComm: A Communication-Efficient Cooperative Perception Framework via Mirrored World Models
作者: Shenghan Luo, Yin Xu, Cixiao Zhang, Yang Wang, Yujie Cao, Zhuoran Xiao, Wenjun Zhang
分类: eess.SP, cs.CV
发布日期: 2026-11-02
💡 一句话要点
提出MirrorComm以解决协同感知中的通信效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 协同感知 通信效率 世界模型 深度学习 对象检测 语义分割 数据压缩
📋 核心要点
- 现有的协同感知方法在通信效率上存在不足，尤其是在处理时间可预测性方面，导致重复传输大量信息。
- 本文提出的MirrorComm框架通过镜像世界模型，利用历史观察来预测当前观察，从而选择性地传输更新信息。
- 实验结果显示，MirrorComm在对象检测和语义分割任务中，通信带宽需求降低了约66倍，同时性能与最先进方法相当。
📝 摘要（中文）
协同感知（CP）需要大量通信带宽来交换连接代理之间的感知信息。虽然已有多种压缩技术被提出以降低传输成本，但大多数现有方法采用逐帧压缩的方式，忽视了时间可预测性，重复传输可从历史上下文推断的信息。为了解决这些局限性，本文提出了MirrorComm，这是第一个基于世界模型的高效通信协同感知框架。具体而言，发送方和接收方的镜像世界模型通过共享的重建观察历史来预测发送方的当前观察。发送方将此预测与当前观察进行比较，并选择性地传输观察更新以纠正预测误差，从而减少可预测信息的重复传输。在OPV2V数据集上的实验表明，MirrorComm在保持与最先进方法相当的性能的同时，通信带宽需求降低了约66倍。消融研究进一步证明了各个组件的有效性。
🔬 方法详解
问题定义：本文旨在解决协同感知中通信带宽需求过高的问题。现有方法往往忽视时间序列中的可预测性，导致重复传输大量冗余信息。
核心思路：MirrorComm框架的核心思想是利用镜像世界模型，通过共享的历史观察来预测当前观察，从而减少不必要的信息传输。这种设计使得系统能够更高效地利用已有信息，降低通信成本。
技术框架：该框架主要包括两个模块：发送方的镜像世界模型和接收方的镜像世界模型。发送方首先利用历史观察生成对当前观察的预测，然后将其与实际观察进行比较，最后选择性地传输更新信息。
关键创新：MirrorComm的主要创新在于引入了镜像世界模型的概念，使得发送方和接收方能够基于共享历史进行有效的预测和信息更新。这一方法与传统逐帧压缩方法本质上不同，显著提高了通信效率。
关键设计：在设计中，模型的参数设置和损失函数经过精心调整，以确保预测的准确性和更新的有效性。网络结构采用了适合时间序列数据处理的深度学习架构，以增强模型的学习能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MirrorComm在OPV2V数据集上实现了约66倍的通信带宽需求降低，同时在对象检测和语义分割任务中保持了与最先进方法相当的性能。这一显著提升展示了其在实际应用中的潜力。
🎯 应用场景
MirrorComm框架在自动驾驶、无人机编队和智能交通系统等领域具有广泛的应用潜力。通过提高协同感知的通信效率，该技术能够显著降低带宽需求，从而提升系统的实时性和可靠性，推动智能交通和自动化技术的发展。
📄 摘要（原文）
Cooperative perception (CP) requires substantial communication bandwidth to exchange sensing information among connected agents. A variety of compression techniques have been proposed to reduce transmission costs while retaining task-relevant information. However, most existing methods follow a frame-wise compression paradigm, overlooking temporal predictability and repeatedly transmitting information that could be inferred from historical context. To address these limitations, we propose MirrorComm, the first world model-based communication-efficient CP framework. Specifically, mirrored world models at the transmitter and receiver predict the transmitter's current observation from a shared history of its reconstructed observations. The transmitter compares this prediction with its current observation and selectively transmits observation updates to correct prediction errors, reducing repeated transmission of predictable information. Experiments on the OPV2V dataset across two downstream tasks including object detection and semantic segmentation show that MirrorComm reduces communication bandwidth requirements by up to approximately 66-fold while maintaining comparable performance to a state-of-the-art (SOTA) method. Ablation studies further demonstrate the effectiveness of the individual components.