BehAVE: Behaviour Alignment of Video Game Encodings

📄 arXiv: 2402.01335v3 📥 PDF

作者: Nemanja Rašajski, Chintan Trivedi, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

分类: cs.CV, cs.AI

发布日期: 2024-02-02 (更新: 2024-11-01)

🔗 代码/项目: GITHUB

💡 一句话要点

提出BehAVE框架以解决视频游戏编码的行为对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 领域随机化 视频理解 行为对齐 多模态学习 零-shot迁移 第一人称射击游戏 视觉模型

📋 核心要点

  1. 现有领域随机化方法依赖复杂的仿真引擎，导致可行性和可扩展性不足。
  2. BehAVE框架利用商业视频游戏的视觉多样性进行领域随机化，并通过文本描述对视频进行行为对齐。
  3. 在25款FPS游戏的实验中，BehAVE实现了显著的零-shot迁移能力，尤其在不同类型游戏间的迁移提升达22%。

📝 摘要（中文）

领域随机化增强了视觉模型在视觉差异显著但内容相似的领域间的可迁移性。然而，现有方法过于依赖复杂的仿真引擎，限制了其可行性和可扩展性。本文提出BehAVE，一个利用现有商业视频游戏进行领域随机化的视频理解框架，无需访问其仿真引擎。BehAVE利用视频游戏的视觉多样性进行随机化，并使用玩家行为的文本描述对视频进行内容对齐。我们在25款第一人称射击（FPS）游戏中评估BehAVE，展示了其在领域随机化中的鲁棒性。BehAVE有效对齐玩家行为模式，并在仅训练于一款游戏的情况下，实现对多个未见FPS游戏的零-shot迁移。在更具挑战性的场景中，BehAVE提升了基础模型对未见FPS游戏的零-shot可迁移性，即使在不同类型游戏的训练下，提升幅度可达22%。

🔬 方法详解

问题定义：本文旨在解决现有领域随机化方法对复杂仿真引擎的依赖问题，这限制了其在不同视觉领域间的有效迁移能力。

核心思路：BehAVE框架通过利用现有商业视频游戏的视觉多样性，结合玩家行为的文本描述，实现视频内容的对齐，从而增强模型的迁移能力。

技术框架：BehAVE的整体架构包括视频游戏的选择、视频数据的采集与处理、文本描述的生成、以及行为对齐的模型训练等主要模块。

关键创新：BehAVE的创新在于无需复杂的仿真引擎，直接利用商业游戏进行领域随机化，显著提升了模型的可迁移性和实用性。

关键设计：在设计中，BehAVE采用了多模态融合技术，将视频和文本信息结合，使用特定的损失函数来优化行为对齐效果，确保模型在不同游戏间的有效迁移。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BehAVE在25款FPS游戏中的实验结果显示，其在仅训练于一款游戏的情况下，实现了对多个未见FPS游戏的零-shot迁移能力。此外，在不同类型游戏的训练下，BehAVE的迁移提升幅度可达22%，显著优于现有方法。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实、以及任何需要视频理解和行为分析的领域。BehAVE框架的设计使其能够在不依赖复杂仿真环境的情况下，快速适应不同的视觉场景，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Domain randomisation enhances the transferability of vision models across visually distinct domains with similar content. However, current methods heavily depend on intricate simulation engines, hampering feasibility and scalability. This paper introduces BehAVE, a video understanding framework that utilises existing commercial video games for domain randomisation without accessing their simulation engines. BehAVE taps into the visual diversity of video games for randomisation and uses textual descriptions of player actions to align videos with similar content. We evaluate BehAVE across 25 first-person shooter (FPS) games using various video and text foundation models, demonstrating its robustness in domain randomisation. BehAVE effectively aligns player behavioural patterns and achieves zero-shot transfer to multiple unseen FPS games when trained on just one game. In a more challenging scenario, BehAVE enhances the zero-shot transferability of foundation models to unseen FPS games, even when trained on a game of a different genre, with improvements of up to 22%. BehAVE is available online at https://github.com/nrasajski/BehAVE.