Augmenting Human Performance with an XR Agent Learning from Online Behavior and BCI Evidence

📄 arXiv: 2608.30369v1 📥 PDF

作者: Ziheng Li, Xichen He, Haoyan Chen, Charlie Zou, Sheng Bai, Benjamin Yang, Mengyuan Wu, Jake Ledner, Yi-Jie Cheng, Akito Yamauchi, Dishita G Turakhia, Steven Feiner, Paul Sajda

分类: cs.AI, cs.HC

发布日期: 2026-08-31

备注: To appear in ACM UIST 2026. 30 pages, 23 figures

💡 一句话要点

提出OLIVE框架以增强高压动态任务中的人类表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 增强现实 脑电图 实时辅助 多模态学习 用户行为分析

📋 核心要点

  1. 现有方法在动态任务中难以实时适应用户的行为和生理变化，限制了辅助系统的有效性。
  2. OLIVE框架通过融合被动EEG和用户行为信号，实时调整模型推理，提供个性化的任务相关指导。
  3. 实验结果表明，OLIVE在用户目标检测和参与能力上显著提升，尤其在目标切换时恢复指导速度更快，提升幅度达到1.27倍。

📝 摘要（中文）

我们提出了OLIVE，一个框架用于适应基础模型，以在时间要求高、风险大的动态任务中提供实时辅助。研究表明，融合在线行为和被动脑电图（EEG）信号，可以显著扩展用户检测和参与目标的能力。OLIVE通过学习用户在XR第一人称射击游戏中的显性行为信号和隐性生理信号（固定注视的EEG），提供及时指导，持续适应冻结的视觉-语言模型的推理，且无需手动标签或离线训练。通过三项用户研究，包括两次OLIVE驱动的辅助代理的现场部署，我们展示了OLIVE在测试时适应框架中的优势，达到了最高的收敛率和相似的收敛速度。结合隐性生理和显性行为信号，OLIVE代理在用户检测和参与目标的能力上实现了最大的、最可靠的会话内提升，几乎不受个体技能的影响。

🔬 方法详解

问题定义：本研究旨在解决现有辅助系统在高压动态任务中无法实时适应用户行为和生理信号的问题。现有方法通常依赖于静态模型，无法有效应对用户的即时需求和变化。

核心思路：OLIVE框架的核心思想是通过融合被动EEG和用户的显性行为信号，实时调整模型的推理过程，从而提供个性化的指导。这种设计使得系统能够在任务进行中动态适应用户的状态。

技术框架：OLIVE的整体架构包括数据采集模块（获取EEG和行为信号）、信号融合模块（将两种信号结合）、模型推理模块（基于融合信号进行实时推理）和反馈模块（提供用户指导）。

关键创新：OLIVE的主要创新在于其无监督学习能力，能够在没有手动标签或离线训练的情况下，实时估计每个信号源的可靠性，从而优化推理过程。这一方法显著提高了适应性和实时性。

关键设计：在技术细节上，OLIVE采用了特定的损失函数来平衡行为信号和生理信号的影响，并设计了适应性网络结构，以便在不同任务和用户状态下进行有效的推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OLIVE在用户目标检测和参与能力上实现了显著提升，尤其在目标切换时，使用行为和生理信号的代理比仅使用行为信号的代理收敛速度快1.27倍（p = .008），在任务变化时提供更可靠的指导。

🎯 应用场景

OLIVE框架在虚拟现实、增强现实等高压动态环境中具有广泛的应用潜力，能够为用户提供实时的决策支持，提升任务执行效率。未来，该技术可扩展至医疗、军事训练等领域，帮助用户在复杂环境中更好地应对挑战。

📄 摘要（原文）

We present OLIVE, a framework for adapting a foundation model to provide real-time assistance in temporally demanding, high-stakes, and dynamic tasks. We show that passive EEG, fused online with behavioral evidence, can meaningfully extend the number of targets users detect and engage beyond their unaided action bandwidth. OLIVE learns from both explicit behavioral signals (the targets the user shoots down in an XR first-person shooter game) and implicit physiological signals (fixation-locked EEG) to provide timely guidance, continuously adapting a frozen vision-language model's inference on which items are task-relevant by jointly estimating per-source reliability without manual labels or offline training. Through three user studies, including two live deployments of an assistive agent driven by OLIVE in XR, we show that OLIVE Pareto-dominates prior test-time adaptation frameworks, achieving the highest convergence rate at comparable convergence speed. Combining implicit physiological and explicit behavioral signals, the OLIVE agent produces the largest and most reliable within-session improvement to a user's ability to detect and engage targets, largely independent of the individual's skill. When the target switches silently, the agent that uses both behavioral and physiological signals reconverges significantly faster than the behavior-only agent (1.27 times faster on average, p = .008), restoring trustworthy guidance at the moment the task changes, precisely when reliable assistance matters most.