AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds
作者: Kailing Li, Ruoxuan Zhang, Zheyuan Zhou, Boyang Chu, Yingshan Lei, Hongxia Xie, Liang Du, Zixun Sun
分类: cs.AI
发布日期: 2026-11-03
💡 一句话要点
提出AceAction数据集以解决3D游戏中的行动学习问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 3D游戏 技能组合 子目标转变 数据集构建 任务学习 动态环境 人类游戏玩法
📋 核心要点
- 现有数据集在游戏覆盖、语言监督和任务目标变化的时间层次上存在局限，影响了行动学习的效果。
- 提出AceAction数据集，通过组织完整任务演示，连接指令、子目标与视觉观察，支持技能组合与转变学习。
- 实验结果显示，500条轨迹的审核通过率高达95.8%，验证了数据集的高质量和有效性。
📝 摘要（中文）
视频游戏为收集视觉-语言-行动（VLA）数据提供了实用的环境，但现有数据集在游戏覆盖范围、语言监督稀疏性及任务目标变化的时间层次上存在限制。本文提出了AceAction数据集，涵盖多款3D游戏中的人类游戏玩法，旨在学习技能组合和子目标转变。AceAction围绕完整任务组织演示，将整体指令、有序子目标和局部技能指令与时间对齐的视觉观察及键鼠操作相连接。通过开发视觉-语言模型管道，识别目标变化或交互目标的子目标，将导航目标锚定到可视化的路标，并将相邻子目标组合成任务指令。最终的演示涵盖导航、侦查、战斗、交互和恢复，明确的阶段边界将任务进展与细粒度控制连接。通过模型验证和人工检查评估注释质量，500条轨迹的审核显示独立评审通过率为95.8%。
🔬 方法详解
问题定义：本文旨在解决现有数据集在游戏覆盖、语言监督稀疏性及任务目标变化时间层次上的不足，影响了复杂任务的学习效果。
核心思路：通过构建AceAction数据集，围绕完整任务组织人类游戏演示，连接整体指令与子目标，支持技能组合与转变的学习。
技术框架：整体架构包括数据收集、视觉-语言模型管道、子目标识别、导航目标锚定及任务指令组合等主要模块，形成完整的学习流程。
关键创新：AceAction数据集的最大创新在于其明确的阶段边界和任务进展的细粒度控制，区别于现有数据集的模糊性和稀疏性。
关键设计：在模型设计中，采用了特定的损失函数和网络结构，以确保子目标的准确识别和任务指令的有效组合，提升了学习的效率和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AceAction数据集在500条轨迹审核中获得了95.8%的通过率，显著提升了任务执行的准确性和效率。这一成果为后续的行动学习研究提供了坚实的数据基础。
🎯 应用场景
该研究的潜在应用领域包括游戏AI、机器人控制和人机交互等。通过提供高质量的VLA数据，AceAction能够促进智能体在动态环境中执行复杂指令的能力，推动相关领域的研究和应用发展。
📄 摘要（原文）
Video games provide a practical setting for collecting vision-language-action (VLA) data, whose acquisition in physical environments is costly. Existing datasets, however, remain limited by restricted game coverage, sparse language supervision, or temporal hierarchies that do not necessarily reflect changes in task objectives. We introduce AceAction, a dataset of human gameplay across multiple 3D games for learning skill composition and subgoal transitions. AceAction organizes demonstrations around complete tasks, linking overall instructions, ordered subgoals, and local skill instructions to temporally aligned visual observations and keyboard-and-mouse actions. To construct these annotations, we develop a vision-language model pipeline that identifies subgoals from changes in objectives or interaction targets, anchors navigation goals to visually recognizable waypoints, and composes adjacent subgoals into task instructions. The resulting demonstrations cover navigation, reconnaissance, combat, interaction, and recovery, with explicit stage boundaries that connect task progression to fine-grained control. We assess annotation quality through model-based verification and human inspection. An audit of 500 trajectories yields a 95.8% pass rate across independent reviewer assessments. AceAction provides a data foundation for studying how agents execute, combine, and switch skills to follow complex instructions in dynamic game environments.