SAGE:State-Aware Guided End-to-End Policy for Multi-Stage Sequential Tasks via Hidden Markov Decision Process

📄 arXiv: 2509.19853v1 📥 PDF

作者: BinXu Wu, TengFei Zhang, Chen Yang, JiaHao Wen, HaoCheng Li, JingTian Ma, Zhen Chen, JingYuan Wang

分类: cs.RO

发布日期: 2025-09-24

💡 一句话要点

SAGE：基于隐马尔可夫决策过程的状态感知引导端到端多阶段序列任务策略

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多阶段序列任务 模仿学习 隐马尔可夫决策过程 状态感知 机器人操作 状态模糊 主动学习 半自动标注

📋 核心要点

  1. 多阶段序列机器人操作任务中，视觉相似的观测可能对应不同的动作，导致状态模糊，现有方法难以有效处理。
  2. SAGE将任务建模为隐马尔可夫决策过程，通过状态转移网络推断隐藏状态，并使用状态感知动作策略来消除歧义。
  3. 实验表明，SAGE在真实世界复杂任务中实现了100%的任务成功率，且仅需少量手动标注即可维持高性能。

📝 摘要（中文）

本文提出了一种名为SAGE的状态感知引导模仿学习框架，用于解决机器人多阶段序列（MSS）操作任务中的状态模糊问题。SAGE将任务建模为隐马尔可夫决策过程（HMDP），显式地捕获潜在的任务阶段并消除歧义。该框架包含一个用于推断隐藏状态的状态转移网络和一个状态感知动作策略，该策略以观测和隐藏状态为条件生成动作，从而实现跨任务阶段的消歧。为了减少手动标注工作量，本文提出了一种结合主动学习和软标签插值的半自动标注流程。在具有状态模糊的多个复杂MSS任务的真实世界实验中，SAGE在标准评估协议下实现了100%的任务成功率，显著优于基线方法。消融研究表明，仅需对约13%的状态进行手动标注即可维持这种性能，表明其具有很强的有效性。

🔬 方法详解

问题定义：多阶段序列机器人操作任务普遍存在状态模糊问题，即视觉上相似的观测可能对应不同的任务阶段，需要执行不同的动作。现有的方法难以有效区分这些状态，导致策略学习困难，任务成功率低。

核心思路：SAGE的核心思路是将多阶段序列任务建模为隐马尔可夫决策过程（HMDP），显式地学习和利用任务的潜在阶段信息。通过引入隐藏状态来表示任务阶段，并使用状态转移网络来推断这些隐藏状态，从而消除状态模糊性。状态感知的动作策略则根据观测和推断的隐藏状态来选择合适的动作。

技术框架：SAGE框架主要包含以下几个模块：1) 状态转移网络：用于根据当前观测推断隐藏状态；2) 状态感知动作策略：根据观测和推断的隐藏状态生成动作；3) 半自动标注流程：结合主动学习和软标签插值，减少手动标注工作量。整体流程是，首先使用半自动标注流程生成训练数据，然后训练状态转移网络和状态感知动作策略，最后在真实机器人上部署训练好的策略。

关键创新：SAGE的关键创新在于将隐马尔可夫决策过程引入到多阶段序列机器人操作任务中，显式地建模和利用任务的潜在阶段信息。与传统的模仿学习方法相比，SAGE能够更好地处理状态模糊问题，提高任务成功率。此外，半自动标注流程也显著减少了手动标注工作量。

关键设计：状态转移网络可以使用各种神经网络结构，例如循环神经网络（RNN）或Transformer。状态感知动作策略可以使用多层感知机（MLP）或更复杂的网络结构。损失函数包括状态转移网络的交叉熵损失和动作策略的模仿学习损失。主动学习策略选择信息量最大的样本进行标注，软标签插值则利用相邻状态的标签信息来生成未标注状态的标签。

📊 实验亮点

SAGE在多个真实世界复杂MSS任务中实现了100%的任务成功率，显著优于基线方法。消融实验表明，即使仅对约13%的状态进行手动标注，SAGE仍能保持高性能，验证了其有效性和数据效率。这些结果表明SAGE在解决状态模糊问题和提高机器人操作性能方面具有显著优势。

🎯 应用场景

SAGE可应用于各种需要机器人执行多阶段序列操作任务的场景，例如装配、拆卸、抓取、放置等。该研究成果能够提升机器人在复杂环境中的操作能力和鲁棒性，降低人工干预的需求，具有广泛的应用前景，例如智能制造、自动化物流、家庭服务等。

📄 摘要（原文）

Multi-stage sequential (MSS) robotic manipulation tasks are prevalent and crucial in robotics. They often involve state ambiguity, where visually similar observations correspond to different actions. We present SAGE, a state-aware guided imitation learning framework that models tasks as a Hidden Markov Decision Process (HMDP) to explicitly capture latent task stages and resolve ambiguity. We instantiate the HMDP with a state transition network that infers hidden states, and a state-aware action policy that conditions on both observations and hidden states to produce actions, thereby enabling disambiguation across task stages. To reduce manual annotation effort, we propose a semi-automatic labeling pipeline combining active learning and soft label interpolation. In real-world experiments across multiple complex MSS tasks with state ambiguity, SAGE achieved 100% task success under the standard evaluation protocol, markedly surpassing the baselines. Ablation studies further show that such performance can be maintained with manual labeling for only about 13% of the states, indicating its strong effectiveness.