ORACLE: Orchestrate NPC Daily Activities using Contrastive Learning with Transformer-CVAE

📄 arXiv: 2603.23933v1 📥 PDF

作者: Seong-Eun Hong, JuYeong Hwang, RyunHa Lee, HyeongYeop Kang

分类: cs.GR, cs.CL, cs.CV, cs.LG

发布日期: 2026-03-25

备注: 17 pages, 7 figures. Accepted to CVM 2026

💡 一句话要点

ORACLE：利用对比学习与Transformer-CVAE生成NPC日常活动

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: NPC行为生成 日常活动计划 Transformer CVAE 对比学习 智能家居 序列生成 人机交互

📋 核心要点

  1. 传统NPC活动生成方法重复单调，难以捕捉真实人类活动的复杂性，降低了数字环境的沉浸感。
  2. ORACLE模型结合Transformer、CVAE和对比学习，从不平衡的智能家居数据中学习并生成更逼真的NPC日常活动计划。
  3. 实验结果验证了ORACLE在生成NPC活动计划方面的优越性，证明了其设计策略的有效性。

📝 摘要（中文）

本文提出了一种名为ORACLE的生成模型，旨在合成逼真的室内日常活动计划，从而增强数字环境中NPC的真实感。针对CASAS智能家居数据集中的挑战，包括不平衡的序列数据、训练样本稀缺以及缺乏预训练的人类日常活动模式，ORACLE利用Transformer的序列数据处理能力、条件变分自编码器(CVAE)的生成可控性以及对比学习的判别细化。实验结果表明，ORACLE在生成NPC活动计划方面优于现有方法，并验证了所提出的设计策略的有效性。

🔬 方法详解

问题定义：论文旨在解决数字环境中NPC日常活动生成不真实、缺乏多样性的问题。现有方法通常产生单调重复的活动，无法反映真实人类行为的复杂性和细微差别，从而降低了用户沉浸感。CASAS智能家居数据集虽然包含丰富的活动序列，但存在数据不平衡、样本稀缺以及缺乏预训练模型等挑战。

核心思路：论文的核心思路是利用Transformer强大的序列建模能力、CVAE的生成控制能力以及对比学习的判别能力，从智能家居数据中学习人类日常活动模式，并生成逼真的NPC活动计划。通过对比学习，模型能够更好地区分不同活动序列，从而提高生成质量。

技术框架：ORACLE模型整体架构基于Transformer-CVAE框架，并引入对比学习进行优化。主要包含以下模块：1) Transformer编码器：用于提取输入活动序列的特征表示；2) CVAE：用于生成活动计划，其中Transformer编码器的输出作为条件；3) 对比学习模块：通过对比正负样本，优化CVAE的生成结果，使其更接近真实的人类活动模式。

关键创新：最重要的技术创新点在于将对比学习引入到Transformer-CVAE框架中，用于优化NPC活动计划的生成。与传统的生成模型相比，ORACLE通过对比学习能够更好地区分不同活动序列，从而生成更逼真、更多样化的活动计划。

关键设计：在对比学习模块中，论文采用了InfoNCE损失函数，用于最大化正样本之间的相似度，同时最小化负样本之间的相似度。此外，论文还对Transformer和CVAE的网络结构进行了优化，以适应智能家居数据的特点。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ORACLE在生成NPC活动计划方面优于现有的生成模型。具体来说，ORACLE生成的活动计划在多样性和真实性方面均有显著提升。通过对比实验，验证了对比学习在优化生成结果方面的有效性。论文还对不同设计策略进行了消融实验，进一步验证了各个模块的贡献。

🎯 应用场景

ORACLE模型可应用于游戏、虚拟现实、智能家居等领域。在游戏中，它可以生成更智能、更真实的NPC行为，提升游戏体验。在虚拟现实中，它可以模拟真实的生活场景，增强用户的沉浸感。在智能家居领域，它可以用于预测用户行为，提供个性化的服务。该研究有助于推动人机交互和人工智能技术的发展。

📄 摘要（原文）

The integration of Non-player characters (NPCs) within digital environments has been increasingly recognized for its potential to augment user immersion and cognitive engagement. The sophisticated orchestration of their daily activities, reflecting the nuances of human daily routines, contributes significantly to the realism of digital environments. Nevertheless, conventional approaches often produce monotonous repetition, falling short of capturing the intricacies of real human activity plans. In response to this, we introduce ORACLE, a novel generative model for the synthesis of realistic indoor daily activity plans, ensuring NPCs' authentic presence in digital habitats. Exploiting the CASAS smart home dataset's 24-hour indoor activity sequences, ORACLE addresses challenges in the dataset, including its imbalanced sequential data, the scarcity of training samples, and the absence of pre-trained models encapsulating human daily activity patterns. ORACLE's training leverages the sequential data processing prowess of Transformers, the generative controllability of Conditional Variational Autoencoders (CVAE), and the discriminative refinement of contrastive learning. Our experimental results validate the superiority of generating NPC activity plans and the efficacy of our design strategies over existing methods.