Knowledge Distillation from Language-Oriented to Emergent Communication for Multi-Agent Remote Control

📄 arXiv: 2401.12624v2 📥 PDF

作者: Yongjun Kim, Sejin Seo, Jihong Park, Mehdi Bennis, Seong-Lyun Kim, Junil Choi

分类: cs.AI, cs.IT, cs.LG, cs.NI

发布日期: 2024-01-23 (更新: 2024-03-03)

💡 一句话要点

提出语言引导的紧急通信框架以解决多智能体导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 紧急通信 语言导向通信 知识蒸馏 深度强化学习 多模态数据 导航任务

📋 核心要点

  1. 现有的紧急通信方法在多模态数据处理时训练成本高且效果不理想，语言导向的语义通信则因模型体积大导致推理成本高。
  2. 本文提出了一种语言引导的紧急通信框架，通过知识蒸馏技术将语言导向的语义通信引入紧急通信的训练过程。
  3. 实验结果表明，所提出的框架在多智能体导航任务中显著提高了旅行效率，并加快了训练收敛速度。

📝 摘要（中文）

本研究比较了基于多智能体深度强化学习的紧急通信（EC）和由预训练的大型语言模型支持的语言导向语义通信（LSC）。在多智能体远程导航任务中，EC在使用多模态数据时训练成本高且效果不佳，而LSC由于模型体积庞大导致推理计算成本高。为了解决这两个瓶颈，本文提出了一种新颖的语言引导紧急通信（LEC）框架，通过知识蒸馏（KD）将LSC引入EC训练。仿真结果表明，LEC在避免信道条件差的区域的同时，显著提高了旅行时间，并使MADRL训练收敛速度提高了61.8%。

🔬 方法详解

问题定义：本文旨在解决多智能体远程导航任务中，现有紧急通信方法在多模态数据处理时的高训练成本和低效能，以及语言导向语义通信在推理时的高计算成本。

核心思路：提出语言引导的紧急通信（LEC）框架，通过知识蒸馏技术将语言导向的语义通信（LSC）引入紧急通信（EC）的训练过程，以降低训练成本并提高性能。

技术框架：LEC框架包含两个主要模块：首先是使用LSC进行知识蒸馏，以指导EC的训练；其次是通过多模态输入数据（如位置和信道图）进行导航任务的执行。

关键创新：LEC框架的核心创新在于将LSC与EC结合，通过知识蒸馏有效地提升了多智能体系统的训练效率和导航性能，这一方法与传统的EC方法在训练策略上有本质区别。

关键设计：在设计中，选择了适当的损失函数以平衡LSC与EC之间的知识传递，同时优化了网络结构以适应多模态输入，确保了模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的LEC框架在多智能体远程导航任务中显著提高了旅行时间，同时在训练收敛速度上比传统的紧急通信方法快61.8%。这些结果表明，LEC在处理多模态数据时具有更高的效率和更好的性能。

🎯 应用场景

该研究的潜在应用场景包括多智能体系统的远程控制、无人驾驶车辆的协同导航以及智能机器人之间的通信与协作。通过提高多智能体系统的训练效率和导航性能，该研究有望在智能交通、物流配送等领域产生实际价值，并推动相关技术的发展。

📄 摘要（原文）

In this work, we compare emergent communication (EC) built upon multi-agent deep reinforcement learning (MADRL) and language-oriented semantic communication (LSC) empowered by a pre-trained large language model (LLM) using human language. In a multi-agent remote navigation task, with multimodal input data comprising location and channel maps, it is shown that EC incurs high training cost and struggles when using multimodal data, whereas LSC yields high inference computing cost due to the LLM's large size. To address their respective bottlenecks, we propose a novel framework of language-guided EC (LEC) by guiding the EC training using LSC via knowledge distillation (KD). Simulations corroborate that LEC achieves faster travel time while avoiding areas with poor channel conditions, as well as speeding up the MADRL training convergence by up to 61.8% compared to EC.