SSC: A Verifiable Structured Representation for Bimanual Manipulation Labelling

📄 arXiv: 2608.04425v1 📥 PDF

作者: Yupu Lu, Shuang Wu, Sihan Chen, Ruihua Han, Yichen Zhang, Marcus Kalander, Jia Pan

分类: cs.RO

发布日期: 2026-08-05

备注: 8 main pages

💡 一句话要点

提出结构化子任务链以解决双手操作标注的可验证性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 双手操作 结构化表示 子任务链 视觉-语言模型 自动标注 机器人技术 状态转移

📋 核心要点

  1. 现有方法在长时间操作演示的标注中存在语言变异性和注释一致性不足的问题。
  2. 本文提出结构化子任务链（SSC），通过定义结构化子任务模板（SST）来实现可读性与一致性的平衡。
  3. 在BEHAVIOR-1K数据集上进行的实验验证了SSC的逻辑验证和内容补全能力，并评估了13种最新的视觉-语言模型作为候选验证器。

📝 摘要（中文）

子任务标签将长时间的操作演示分解为较短的语义段，以便于策略训练和评估。自然语言描述易于阅读，但其语言变异性使得自动验证变得困难。现有的刚性模板格式，如BEHAVIOR-1K的技能注释，过于细分，影响了可读性和注释一致性。本文提出了结构化子任务链（SSC），一种状态转移表示法，旨在弥合这些极端。每个结构化子任务模板（SST）存储核心动作组件、灵活条件、独立于手臂动作的基础运动字段以及后状态场景图。基于此格式，SSC支持三种视觉-语言辅助功能：将SST渲染为自然语言、检查组装链是否符合四个状态转移规则，以及通过查询解析级联完成未指定字段。

🔬 方法详解

问题定义：本文旨在解决双手操作标注中存在的语言变异性和注释一致性不足的问题。现有的刚性模板格式导致可读性差和标注不一致。

核心思路：提出结构化子任务链（SSC），通过结构化子任务模板（SST）来存储核心动作组件和灵活条件，从而提高标注的可读性和一致性。

技术框架：SSC的整体架构包括三个主要模块：SST的定义与存储、状态转移规则的验证、以及未指定字段的查询解析级联。

关键创新：SSC的主要创新在于其状态转移表示法，能够有效地将长时间操作演示分解为结构化的子任务，解决了现有方法的过度细分问题。

关键设计：SST包含核心动作组件（主语、谓语、宾语）、灵活条件（如空间或工具短语）、独立的基础运动字段和后状态场景图，确保了信息的完整性和灵活性。实验中使用了13种最新的视觉-语言模型进行验证。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SSC在BEHAVIOR-1K数据集上实现了显著的标注一致性提升，验证了13种视觉-语言模型的有效性，并成功检测到标注中的异常情况，展示了其在逻辑验证和内容补全方面的优势。

🎯 应用场景

该研究在机器人操作、自动化标注和人机交互等领域具有广泛的应用潜力。通过提高双手操作的标注效率和准确性，SSC可以推动智能机器人在复杂任务中的应用，提升其自主学习和执行能力。

📄 摘要（原文）

Subtask labels decompose a long-horizon manipulation demonstration into shorter semantic segments for policy training and evaluation. Natural language descriptions are easy to read, but their linguistic variability makes automatic verification difficult. Rigid template formats, such as BEHAVIOR-1K's skill_annotation, are linguistically over-segmented, hindering both readability and annotation consistency. We propose the Structured Subtask Chain (SSC), a state-transition representation that bridges these extremes. A demonstration is a sequence of Structured Subtask Template (SST) entries. Each SST stores core action components (subject, predicate, object), flexible conditions (adverbial modifiers such as spatial or instrumental phrases), a base-motion field separate from arm actions, and an after-state scene graph. Built on this format, SSC supports three vision-language assisted functions: rendering SSTs as natural language, checking the assembled chain against four state-transition rules, and completing underspecified fields through a query resolution cascade. We instantiate the pipeline on BEHAVIOR-1K (50 tasks, 3 episodes per task, 2,357 annotated action cells) for logic verification and content completion, evaluating 13 selected state-of-the-art VL models as candidate verifiers and reporting labelling anomalies.