Scene-agnostic Hierarchical Bimanual Task Planning via Visual Affordance Reasoning

📄 arXiv: 2512.09310v1 📥 PDF

作者: Kwang Bin Lee, Jiho Kang, Sung-Hee Lee

分类: cs.RO

发布日期: 2025-12-10

备注: 8 pages, 4 figures

💡 一句话要点

提出基于视觉可供性的场景无关分层双臂任务规划框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 双臂机器人 任务规划 视觉可供性 场景无关 机器人操作

📋 核心要点

  1. 现有机器人任务规划主要集中于单臂操作，忽略了双臂操作中固有的空间、几何和协同挑战，难以应对复杂环境。
  2. 该方法通过视觉点定位、双臂子目标规划和交互点驱动的双臂提示三个模块，实现了高层推理与3D场景中双臂执行的桥梁。
  3. 实验结果表明，该方法能够生成连贯、可行且紧凑的双臂规划，并具备良好的泛化能力，无需针对新场景进行重新训练。

📝 摘要（中文）

本文提出了一种统一的场景无关双臂任务规划框架，旨在将高层指令转化为可执行的行为，解决开放环境中双臂协同操作的挑战。该框架包含三个关键模块：视觉点定位（VPG）分析场景图像以检测相关对象并生成世界坐标对齐的交互点；双臂子目标规划器（BSP）推理空间邻接性和跨对象可达性，生成紧凑的、运动中性的子目标，以利用双臂协同操作的机会；交互点驱动的双臂提示（IPBP）将这些子目标绑定到结构化的技能库，实例化同步的单臂或双臂动作序列，满足手部状态和可供性约束。实验表明，该方法能够生成连贯、可行且紧凑的双臂规划，并推广到杂乱的场景，无需重新训练，展示了鲁棒的场景无关双臂任务可供性推理能力。

🔬 方法详解

问题定义：现有机器人任务规划器主要关注单臂操作，无法有效解决双臂操作中固有的空间关系、几何约束以及协同操作的复杂性。在开放且未知的环境中，如何将高层指令转化为可执行的双臂动作序列，是一个具有挑战性的问题。现有方法难以在杂乱的场景中进行有效的双臂任务规划，缺乏场景泛化能力。

核心思路：该论文的核心思路是将高层任务分解为一系列可执行的双臂子目标，并通过视觉可供性推理来确定合适的交互点和动作序列。通过解耦任务规划和具体动作执行，实现了更灵活和可扩展的双臂任务规划框架。利用视觉信息进行环境感知，从而实现场景无关性。

技术框架：该框架包含三个主要模块：1) 视觉点定位 (VPG)：从单张场景图像中检测相关对象，并生成与世界坐标系对齐的交互点。2) 双臂子目标规划器 (BSP)：基于空间邻接性和跨对象可达性进行推理，生成紧凑且运动中性的子目标。3) 交互点驱动的双臂提示 (IPBP)：将子目标与结构化的技能库绑定，实例化同步的单臂或双臂动作序列，并满足手部状态和可供性约束。整体流程是从高层指令开始，通过VPG进行环境感知，BSP生成子目标，最后由IPBP生成具体的动作序列。

关键创新：该方法的主要创新在于将视觉可供性推理与双臂任务规划相结合，实现了场景无关的双臂操作。通过双臂子目标规划器，能够有效地利用双臂协同操作的优势，生成更紧凑和高效的动作序列。交互点驱动的双臂提示机制，能够灵活地选择合适的动作技能，并满足手部状态和可供性约束。

关键设计：VPG模块使用深度学习模型进行对象检测和交互点预测。BSP模块使用图搜索算法来规划子目标序列，并考虑空间邻接性和可达性约束。IPBP模块使用提示学习方法，将子目标与技能库中的动作进行匹配，并生成具体的动作参数。技能库包含预定义的单臂和双臂动作，例如抓取、放置、移动等。损失函数的设计旨在优化子目标序列的紧凑性和动作序列的可行性。

📊 实验亮点

实验结果表明，该方法能够生成连贯、可行且紧凑的双臂规划，并且在杂乱的场景中表现出良好的泛化能力，无需重新训练。相较于传统的单臂规划方法，该方法能够更有效地利用双臂协同操作的优势，缩短任务完成时间。具体的性能数据（例如任务成功率、规划时间等）在论文中进行了详细的展示和对比。

🎯 应用场景

该研究成果可应用于各种需要双臂协同操作的机器人应用场景，例如：家庭服务机器人、工业装配机器人、医疗辅助机器人等。通过该框架，机器人能够更好地理解人类指令，并在复杂的环境中执行各种任务，提高工作效率和安全性。未来，该技术有望进一步扩展到更复杂的任务和环境，实现更智能化的机器人操作。

📄 摘要（原文）

Embodied agents operating in open environments must translate high-level instructions into grounded, executable behaviors, often requiring coordinated use of both hands. While recent foundation models offer strong semantic reasoning, existing robotic task planners remain predominantly unimanual and fail to address the spatial, geometric, and coordination challenges inherent to bimanual manipulation in scene-agnostic settings. We present a unified framework for scene-agnostic bimanual task planning that bridges high-level reasoning with 3D-grounded two-handed execution. Our approach integrates three key modules. Visual Point Grounding (VPG) analyzes a single scene image to detect relevant objects and generate world-aligned interaction points. Bimanual Subgoal Planner (BSP) reasons over spatial adjacency and cross-object accessibility to produce compact, motion-neutralized subgoals that exploit opportunities for coordinated two-handed actions. Interaction-Point-Driven Bimanual Prompting (IPBP) binds these subgoals to a structured skill library, instantiating synchronized unimanual or bimanual action sequences that satisfy hand-state and affordance constraints. Together, these modules enable agents to plan semantically meaningful, physically feasible, and parallelizable two-handed behaviors in cluttered, previously unseen scenes. Experiments show that it produces coherent, feasible, and compact two-handed plans, and generalizes to cluttered scenes without retraining, demonstrating robust scene-agnostic affordance reasoning for bimanual tasks.