Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)
作者: Ilia Larchenko
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-06-25
备注: Solution of the LeHome Challenge at ICRA 2026
💡 一句话要点
提出基于强化学习的双手衣物折叠解决方案
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双手操作 衣物折叠 强化学习 视觉-语言-动作 智能家居 机器人技术 实时反馈
📋 核心要点
- 现有的衣物折叠方法在双手操作和复杂环境下的适应性不足，导致效率低下。
- 提出了一种新的视觉-语言-动作（VLA）策略，通过强化学习循环实现自我价值函数预测。
- 系统在仿真和现实世界中均表现优异，在线阶段获得第一名，现实世界决赛获得第二名。
📝 摘要（中文）
本文描述了作者在2026年LeHome挑战赛中的解决方案，该系统在在线（仿真）阶段获得62支队伍中的第一名，并在现实世界决赛中获得第二名。该方案通过强化学习循环改进了视觉-语言-动作（VLA）策略。该策略的网络不仅预测动作，还预测成功、进展及一些与任务相关的未来量，这些预测驱动了优势估计、实时失败检测和候选选择。该工作主要是将现有的强化学习思想与工程和优化贡献相结合，形成一个可单独或组合使用的方案。
🔬 方法详解
问题定义：本研究旨在解决双手衣物折叠中的复杂性和效率问题。现有方法在动态环境下的适应性和实时反馈能力不足，导致折叠效果不理想。
核心思路：通过强化学习循环，设计了一种视觉-语言-动作（VLA）策略，使得同一网络不仅可以预测动作，还能评估任务的成功与进展。这种设计使得系统能够实时调整策略，提高折叠效率。
技术框架：整体架构包括数据收集、策略训练和实时推理三个主要模块。数据收集阶段使用HuggingFace Hub进行异步分布式训练，策略训练阶段结合AWR和RECAP进行流匹配，推理阶段则通过Thompson采样优化超参数。
关键创新：最重要的创新在于将策略与价值函数结合，使得网络能够自我评估并进行动态调整。这一方法与传统的分离策略和价值函数的方式有本质区别，提升了系统的实时反应能力。
关键设计：在参数设置上，采用了重度增强和DAgger-like HIL数据收集方法，确保了模型在仿真到现实的迁移过程中保持高效性。同时，设计了相应的损失函数以优化策略的学习过程。
🖼️ 关键图片
📊 实验亮点
在实验中，该系统在62支队伍中在线阶段获得第一名，现实世界决赛中获得第二名，显示出其在复杂环境下的优越性能。通过强化学习循环的引入，系统在实时反馈和策略调整方面表现出显著提升，增强了折叠任务的成功率和效率。
🎯 应用场景
该研究的潜在应用领域包括智能家居、机器人助手和自动化折叠设备等。通过提高衣物折叠的自动化程度，能够显著减轻家庭劳动负担，提升生活质量。此外，该方法的核心技术也可扩展到其他需要双手协调的任务中，具有广泛的实际价值和未来影响。
📄 摘要（原文）
I describe my solution to the LeHome Challenge 2026, an ICRA 2026 competition on bimanual garment folding. The system placed 1st of 62 teams in the online (simulation) round and 2nd in the real-world final. It improves a vision-language-action (VLA) policy with a reinforcement-learning loop. The policy is its own value function: the same network that predicts actions also predicts success, progress, and a few task-relevant future quantities, and those predictions drive advantage estimation, live failure detection, and candidate selection. The work mostly recombines existing RL ideas with engineering and optimization contributions that can be used together as one recipe or individually: AWR + RECAP combined for flow-matching VLA; an asynchronous distributed training / rollout pipeline through HuggingFace Hub; inference-time hyperparameters optimization via Thompson sampling; a sim-to-real recipe with camera-alignment tooling, heavy augmentation and DAgger-like HIL data collection.