DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching
作者: Meng Chen, Anya Ji, Tsung-Han Wu, Tobias Maringgele, David M. Chan, Alane Suhr, Amy Pavel
分类: cs.CL
发布日期: 2026-06-30
💡 一句话要点
提出DigitalCoach以解决人机协作中的教学不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态数据集 人机交互 智能辅导 计算机使用教学 视觉基础 自动评估 专家与新手辅导
📋 核心要点
- 现有的智能体在软件任务自动化方面表现出色，但在教导人类使用软件时存在不足，尤其是在互动和视觉上下文的结合上。
- 本文提出了DigitalCoach，一个多模态数据集，旨在通过记录专家与新手的辅导会话，评估智能体在计算机使用教学中的有效性。
- 实验结果表明，模型教练在提供指令时表现良好，但在解释和视觉基础方面存在显著不足，导致学习者的参与度降低。
📝 摘要（中文）
随着智能体在软件任务自动化方面的能力不断提升，能否有效教导人类使用软件成为一个重要问题。本文介绍了DigitalCoach，这是一个包含72个专家与新手计算机使用辅导会话的多模态数据集，涵盖22,752个对话轮次，记录了28.1小时的屏幕和输入事件，涉及五种软件应用。通过DigitalCoach，我们评估了最先进模型在教导人类使用计算机方面的表现。自动评估显示，模型与人类在辅导方式上存在差异：模型提供更直接的指令，但解释、错误诊断和知识检查问题较少。互动评估确认，模型教练使学习者被动跟随指令，缺乏更深层次的参与，且在视觉基础上表现不佳。DigitalCoach为协作和主动的计算机使用辅导智能体奠定了基础。
🔬 方法详解
问题定义：本文旨在解决智能体在教导人类使用软件时的有效性不足，尤其是在互动性和视觉上下文的结合方面。现有方法往往提供直接指令，但缺乏深入的解释和反馈。
核心思路：通过构建DigitalCoach数据集，记录专家与新手的辅导会话，评估智能体在教学中的表现，旨在提高教导的有效性和互动性。
技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。数据收集阶段记录对话和屏幕事件，模型训练阶段使用这些数据训练智能体，评估阶段则通过自动和互动评估来验证模型的表现。
关键创新：最重要的技术创新在于构建了一个多模态数据集，系统性地分析了智能体与人类教练在辅导方式上的差异，尤其是在视觉基础的应用上。
关键设计：在模型训练中，采用了特定的损失函数来平衡指令的直接性与解释的深度，同时设计了多模态输入以增强模型对视觉信息的理解。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型教练在提供指令时的准确性较高，但在解释和视觉基础方面的表现明显不足。具体而言，模型在视觉上下文的结合上得分低于人类教练，导致学习者的参与度降低。这些发现强调了在智能辅导系统中加强视觉基础的重要性。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和人机交互设计。通过提升智能体在计算机使用教学中的有效性，DigitalCoach可以帮助开发更具互动性和参与感的学习工具，促进人类与智能体的协作。未来，这一研究成果可能推动智能辅导系统在各类软件应用中的广泛应用。
📄 摘要（原文）
Agents are increasingly capable of automating software tasks, but can they teach humans how to use software themselves? We introduce DigitalCoach, a multimodal dataset of 72 human expert-novice computer use coaching sessions consisting of 22,752 dialogue turns grounded in 28.1 hours of screen and input event recordings across five software applications. We use DigitalCoach to evaluate whether state-of-the-art models can teach humans how to use computers. Automated evaluation shows that models differ from humans in how they coach: models provide more direct instructions, but fewer explanations, error diagnoses, and knowledge-check questions. When we fix the coaching method, models produce utterances similar to human references yet poorly grounded in visual context. Interactive evaluation confirms that model coaches cause learners to passively follow instructions without deeper engagement and fall short in visual grounding. DigitalCoach lays a foundation for collaborative and proactive computer use coaching agents.