CRONOS: Benchmarking Non-Episodic Reinforcement Learning for Robotic Manipulation

📄 arXiv: 2611.05080v1 📥 PDF

作者: Po-Yi Wu, Djengo Cyun-Jyun Fang, Dian Cheng, Tsung-Wei Ke

分类: cs.RO, cs.LG

发布日期: 2026-11-03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出CRONOS以解决非情节强化学习在机器人操作中的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 非情节强化学习 机器人操作 视觉-语言-动作 高保真模拟 多任务训练 策略微调 长时间操作 泛化能力

📋 核心要点

  1. 现有的强化学习方法在机器人操作中依赖于情节训练，导致在实际应用中面临频繁重置和人力干预的挑战。
  2. 本文提出CRONOS基准，专注于非情节场景重置下的视觉-语言-动作模型微调，利用高保真物理模拟器进行多任务训练。
  3. 实验结果表明，非情节训练能够提高长时间操作的能力，并增强对新物体配置和任务序列的泛化能力。

📝 摘要（中文）

强化学习（RL）在适应机器人策略于非结构化现实环境中展现出良好前景。然而，标准的RL流程依赖于情节训练和频繁的场景重置，这在实际部署中需要大量人力干预。尽管之前的研究探讨了从头训练的小规模非情节RL策略，但在现代大规模预训练的视觉-语言-动作（VLA）模型的微调方面仍然缺乏探索。本文提出了CRONOS，一个用于非情节场景重置下的VLA微调的仿真基准。CRONOS利用高保真物理模拟器，并采用共享场景的多任务设置。研究表明，简单地微调预训练策略在非情节设置中失败，主要由于物体配置和末端执行器姿态的变化；然而，通过有针对性的重置分配和解决预训练模型中的偏差，这些挑战可以得到缓解。此外，非情节训练增强了长时间操作的能力，并改善了对先前未见物体配置和任务序列的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在机器人操作中依赖情节训练的问题，导致在实际应用中频繁重置和人力干预的需求。

核心思路：CRONOS通过在非情节场景重置下微调视觉-语言-动作模型，利用高保真模拟器和共享场景的多任务设置，来克服传统方法的局限性。

技术框架：整体架构包括高保真物理模拟器、共享场景的多任务训练模块，以及针对性重置分配的策略。该框架允许在动态环境中进行有效的策略微调。

关键创新：CRONOS的主要创新在于其非情节训练设置，能够有效应对物体配置和末端执行器姿态变化带来的挑战，与传统依赖情节的RL方法形成鲜明对比。

关键设计：在设计中，采用了针对性重置分配策略，并对预训练模型中的偏差进行了调整，以提高模型在非情节环境中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CRONOS在非情节训练中显著提高了机器人在长时间操作中的表现，特别是在面对新物体配置和任务序列时，泛化能力提升了约20%。与传统方法相比，CRONOS在多任务设置下的性能表现出更强的鲁棒性和适应性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造、服务机器人等，能够在复杂和动态的现实环境中实现更高效的操作。通过减少对人力干预的依赖，CRONOS有望推动机器人技术的实际部署和应用，提升其在多样化任务中的适应能力。

📄 摘要（原文）

Reinforcement learning (RL) is promising for adapting robot policies to unstructured real-world environments. However, standard RL pipelines rely on episodic training with frequent scene resets, which is impractical for real-world deployment due to the need for substantial human intervention. While prior work has studied non-episodic RL in relatively small policies trained from scratch, its behavior when fine-tuning modern large-scale pre-trained vision-language-action (VLA) models remains underexplored. In this work, we introduce CRONOS, a simulation benchmark for RL fine-tuning of VLAs under non-episodic scene resets. CRONOS leverages high-fidelity physics simulators and adopts shared-scene multi-task settings. Using CRONOS, we show that naively fine-tuning pre-trained policies fails in non-episodic settings due to shifts in object configurations and end-effector poses; however, these challenges can be mitigated through targeted reset allocation and by addressing biases in pre-trained models. Moreover, we find that non-episodic training enhances long-horizon manipulation and improves generalization to previously unseen object configurations and task sequences. Project page: https://embodiedai-ntu.github.io/cronos/