BagIt! An Adaptive Dual-Arm Manipulation of Fabric Bags for Object Bagging

📄 arXiv: 2509.09484v1 📥 PDF

作者: Peng Zhou, Jiaming Qi, Hongmin Wu, Chen Wang, Yizhou Chen, Zeqing Zhang

分类: cs.RO, eess.SY

发布日期: 2025-09-11

💡 一句话要点

提出自适应双臂操作策略，解决柔性袋装物体的自动化装袋问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 双臂机器人 柔性物体操作 自动化装袋 结构兴趣点 模型预测控制

📋 核心要点

  1. 工业场景中的装袋任务因柔性袋的形变特性而极具挑战，现有方法难以应对其复杂性和不确定性。
  2. 论文提出一种基于自适应结构兴趣点(SOI)的双臂操作策略，通过实时视觉反馈动态调整动作，无需预先了解袋子属性。
  3. 实验结果表明，该系统能够对各种物体进行精确和鲁棒的装袋操作，验证了其在柔性物体操作方面的有效性和适应性。

📝 摘要（中文）

本文提出了一种用于双臂机器人的自适应结构兴趣点(SOI)操作策略，旨在实现自动化装袋系统。考虑到柔性袋的复杂性和不可预测性，该系统能够基于实时视觉反馈动态调整其动作，无需预先了解袋子的属性。该框架结合了高斯混合模型(GMM)用于估计SOI状态，优化技术用于SOI生成，使用约束双向快速探索随机树(CBiRRT)进行运动规划，以及使用模型预测控制(MPC)进行双臂协调。大量的实验验证了该系统在各种物体上执行精确和鲁棒装袋的能力，展示了其适应性。这项工作为机器人柔性物体操作(DOM)提供了一种新的解决方案，特别是在自动化装袋任务中。

🔬 方法详解

问题定义：论文旨在解决工业场景中常见的自动化装袋问题，特别是针对柔性袋子这类具有高度形变性和不可预测性的物体。现有方法通常依赖于对袋子属性的预先了解，或者采用固定的操作策略，难以适应不同形状、材质的袋子和物体的装袋需求，鲁棒性较差。

核心思路：论文的核心思路是利用双臂机器人，通过视觉反馈动态调整操作策略，实现对柔性袋子的自适应操作。关键在于识别并控制袋子的“结构兴趣点(SOI)”，通过优化SOI的轨迹和双臂的协同运动，实现高效、稳定的装袋过程。这种方法避免了对袋子属性的先验知识依赖，提高了系统的通用性和鲁棒性。

技术框架：该自动化装袋系统的整体框架包括以下几个主要模块：1) 视觉感知模块：利用视觉传感器获取袋子的图像，并提取SOI特征。2) SOI状态估计模块：使用高斯混合模型(GMM)对SOI的状态进行估计，包括位置、姿态等。3) SOI轨迹生成模块：通过优化算法生成SOI的运动轨迹，确保装袋过程的顺利进行。4) 运动规划模块：使用约束双向快速探索随机树(CBiRRT)算法，为双臂机器人规划无碰撞的运动轨迹。5) 双臂协调控制模块：采用模型预测控制(MPC)算法，实现双臂的协同运动，保证装袋过程的稳定性和精度。

关键创新：该论文的关键创新在于提出了自适应的SOI操作策略，以及将GMM、CBiRRT和MPC等多种技术相结合，构建了一个完整的自动化装袋系统。与现有方法相比，该方法无需预先了解袋子的属性，能够根据实时视觉反馈动态调整操作策略，具有更强的适应性和鲁棒性。此外，双臂协同操作也提高了装袋的效率和稳定性。

关键设计：在SOI状态估计模块中，GMM用于对SOI的位置和姿态进行建模，通过最大期望算法(EM)进行参数估计。在运动规划模块中，CBiRRT算法考虑了机器人的运动学约束和环境中的障碍物，生成无碰撞的运动轨迹。在双臂协调控制模块中，MPC算法通过预测未来状态，优化控制输入，实现双臂的协同运动，并保证装袋过程的稳定性。具体的参数设置和损失函数的设计细节在论文中进行了详细描述。

📊 实验亮点

实验结果表明，该系统能够成功完成对不同形状和材质物体的装袋任务，验证了其在柔性物体操作方面的有效性和适应性。与传统的固定策略相比，该自适应SOI操作策略能够显著提高装袋的成功率和效率。具体的性能数据，例如装袋成功率、装袋时间等，在论文中进行了详细的量化分析。

🎯 应用场景

该研究成果可广泛应用于自动化生产线、仓储物流等领域，实现对食品、化工品、日用品等各种物体的自动化装袋。通过降低人工成本、提高生产效率，该技术具有显著的经济价值。未来，该技术有望进一步扩展到其他柔性物体操作任务，例如服装折叠、医疗器械组装等，为机器人自动化领域带来更广阔的应用前景。

📄 摘要（原文）

Bagging tasks, commonly found in industrial scenarios, are challenging considering deformable bags' complicated and unpredictable nature. This paper presents an automated bagging system from the proposed adaptive Structure-of-Interest (SOI) manipulation strategy for dual robot arms. The system dynamically adjusts its actions based on real-time visual feedback, removing the need for pre-existing knowledge of bag properties. Our framework incorporates Gaussian Mixture Models (GMM) for estimating SOI states, optimization techniques for SOI generation, motion planning via Constrained Bidirectional Rapidly-exploring Random Tree (CBiRRT), and dual-arm coordination using Model Predictive Control (MPC). Extensive experiments validate the capability of our system to perform precise and robust bagging across various objects, showcasing its adaptability. This work offers a new solution for robotic deformable object manipulation (DOM), particularly in automated bagging tasks. Video of this work is available at https://youtu.be/6JWjCOeTGiQ.