SCHEMA: State CHangEs MAtter for Procedure Planning in Instructional Videos

📄 arXiv: 2403.01599v1 📥 PDF

作者: Yulei Niu, Wenliang Guo, Long Chen, Xudong Lin, Shih-Fu Chang

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2024-03-03

备注: Accepted by ICLR 2024

💡 一句话要点

提出SCHEMA以解决教学视频中的程序规划问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 程序规划 教学视频 状态变化 跨模态学习 大语言模型 可解释性 视觉理解

📋 核心要点

  1. 现有方法在程序规划中仅依赖序列级注释，未能充分考虑状态变化的重要性，导致规划效果不佳。
  2. 本研究提出SCHEMA方法，通过将步骤视为状态变化，利用大语言模型的常识知识和跨模态对比学习来建立结构化状态空间。
  3. 实验结果显示，SCHEMA在多个基准数据集上超越了现有方法，提供了更好的性能和可解释性。

📝 摘要（中文）

我们研究了教学视频中的程序规划问题，旨在根据部分视觉状态观察生成目标导向的动作步骤序列。现有方法在训练过程中仅依赖序列级注释，忽视了状态在程序中的作用。本研究提出了状态变化重要性（SCHEMA）的方法，通过探讨步骤与状态之间的因果关系，建立更结构化的状态空间。我们将每个步骤明确表示为状态变化，并通过大语言模型的常识知识描述这些变化，同时利用跨模态对比学习对视觉状态观察与语言状态描述进行对齐。实验结果表明，SCHEMA模型在CrossTask、COIN和NIV基准数据集上实现了最先进的性能，并获得了可解释的可视化结果。

🔬 方法详解

问题定义：本论文旨在解决教学视频中的程序规划问题，现有方法在训练时仅依赖序列级注释，忽视了状态变化的作用，导致规划效果不理想。

核心思路：论文提出了状态变化重要性（SCHEMA）的方法，通过将每个步骤表示为状态变化，并利用大语言模型的常识知识来描述这些变化，从而建立更结构化的状态空间。

技术框架：整体架构包括步骤表示和状态变化跟踪两个主要模块。步骤表示模块利用链式思维提示生成状态变化描述，状态变化跟踪模块则通过跨模态对比学习对齐视觉状态观察与语言状态描述。

关键创新：最重要的创新点在于明确将步骤视为状态变化，并通过大语言模型生成的状态描述来建模程序的中间状态，这与现有方法的单一序列建模方式有本质区别。

关键设计：在参数设置上，采用了链式思维提示来引导大语言模型生成状态变化描述，损失函数设计上则使用了跨模态对比损失，以确保视觉和语言信息的有效对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SCHEMA模型在CrossTask、COIN和NIV基准数据集上达到了最先进的性能，具体提升幅度超过了现有方法，尤其在可解释性和可视化方面表现突出，提供了更清晰的步骤与状态之间的关系。

🎯 应用场景

该研究的潜在应用领域包括教育技术、视频内容分析和智能助手等。通过改进程序规划，SCHEMA可以帮助用户更有效地理解和执行复杂的操作步骤，提升学习效率。未来，该方法可能在自动化教学和人机交互中发挥重要作用。

📄 摘要（原文）

We study the problem of procedure planning in instructional videos, which aims to make a goal-oriented sequence of action steps given partial visual state observations. The motivation of this problem is to learn a structured and plannable state and action space. Recent works succeeded in sequence modeling of steps with only sequence-level annotations accessible during training, which overlooked the roles of states in the procedures. In this work, we point out that State CHangEs MAtter (SCHEMA) for procedure planning in instructional videos. We aim to establish a more structured state space by investigating the causal relations between steps and states in procedures. Specifically, we explicitly represent each step as state changes and track the state changes in procedures. For step representation, we leveraged the commonsense knowledge in large language models (LLMs) to describe the state changes of steps via our designed chain-of-thought prompting. For state change tracking, we align visual state observations with language state descriptions via cross-modal contrastive learning, and explicitly model the intermediate states of the procedure using LLM-generated state descriptions. Experiments on CrossTask, COIN, and NIV benchmark datasets demonstrate that our proposed SCHEMA model achieves state-of-the-art performance and obtains explainable visualizations.