PRISM: Personalized Refinement of Imitation Skills for Manipulation via Human Instructions
作者: Arnau Boix-Granell, Alberto San-Miguel-Tello, Magí Dalmau-Moreno, Néstor García
分类: cs.RO, cs.AI
发布日期: 2026-03-05
备注: 10 pages, 3 figures, Accepted for publication at European Robotics Forum 2026
💡 一句话要点
PRISM：通过人类指令个性化改进操作机器人的模仿技能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 强化学习 人机协作 机器人操作 指令学习
📋 核心要点
- 现有模仿学习策略难以适应新目标和约束，泛化能力受限，需要人工干预。
- PRISM结合模仿学习和强化学习，利用人类指令迭代优化策略，实现个性化改进。
- 实验表明，PRISM在抓取放置任务中优于无人类反馈的策略，提升鲁棒性并降低计算成本。
📝 摘要（中文）
本文提出PRISM，一种指令条件下的机器人操作模仿策略改进方法。该方法将模仿学习(IL)和强化学习(RL)框架无缝结合，使得从一组用户引导的演示中生成的、针对广泛通用任务的模仿策略，可以通过强化学习进行改进，从而生成新的、未见过的细粒度行为。改进过程遵循Eureka范式，其中RL的奖励函数从初始的自然语言任务描述中迭代生成。该方法在此机制的基础上，通过增加人类反馈校正中间过程，使通用任务的改进IL策略适应新的目标配置和约束，从而实现策略的可重用性和数据效率。在模拟场景中进行的抓取放置任务的结果表明，所提出的方法优于没有人类反馈的策略，提高了部署的鲁棒性，并降低了计算负担。
🔬 方法详解
问题定义：现有模仿学习方法在机器人操作任务中，虽然可以通过学习人类演示来快速获得初步策略，但难以适应新的目标配置和约束条件。此外，当任务需要细粒度的调整时，单纯的模仿学习往往难以达到理想的效果，需要大量额外数据或人工干预。因此，如何有效地利用少量数据和人类反馈来个性化改进模仿策略，是本文要解决的核心问题。
核心思路：PRISM的核心思路是将模仿学习和强化学习相结合，并引入人类指令作为指导信号。首先，通过模仿学习获得一个通用的操作策略。然后，利用强化学习对该策略进行改进，使其能够适应新的目标和约束。为了提高数据效率和策略的鲁棒性，PRISM在强化学习过程中引入了人类反馈，通过人类的指导来加速策略的收敛，并避免陷入局部最优。
技术框架：PRISM的整体框架包含以下几个主要模块：1) 模仿学习模块：用于从人类演示数据中学习一个初始的通用操作策略。2) 强化学习模块：用于对模仿学习得到的策略进行改进，使其能够适应新的目标和约束。该模块采用Eureka范式，从自然语言任务描述中自动生成奖励函数。3) 人类反馈模块：在强化学习过程中，人类可以对机器人的行为进行评价和指导，从而加速策略的收敛。人类反馈被用来调整奖励函数，引导策略向正确的方向发展。
关键创新：PRISM的关键创新在于将模仿学习、强化学习和人类反馈有机地结合在一起，形成一个闭环的优化系统。通过模仿学习获得初始策略，通过强化学习进行改进，通过人类反馈进行指导，从而实现策略的个性化改进和高效学习。与传统的模仿学习方法相比，PRISM能够更好地适应新的目标和约束，并具有更强的鲁棒性。与传统的强化学习方法相比，PRISM能够利用模仿学习提供的先验知识，加速策略的收敛，并降低对大量数据的需求。
关键设计：PRISM采用自然语言处理技术来理解人类指令，并将其转化为奖励函数。奖励函数的设计需要考虑到任务的目标、约束以及人类的偏好。为了有效地利用人类反馈，PRISM设计了一种基于评价和指导的反馈机制。人类可以对机器人的行为进行评价（例如“好”、“不好”），也可以提供指导（例如“向左”、“向上”）。这些反馈被用来调整奖励函数，引导策略向正确的方向发展。具体的网络结构和参数设置取决于具体的任务和数据集，论文中可能没有详细描述，属于实现细节。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PRISM在模拟的抓取放置任务中取得了显著的性能提升。与没有人类反馈的策略相比，PRISM能够更好地适应新的目标配置和约束条件，并具有更强的鲁棒性。具体来说，PRISM在成功率、效率和安全性等方面都优于基线方法。论文中可能包含具体的性能数据和提升幅度，但摘要中未明确给出。
🎯 应用场景
PRISM具有广泛的应用前景，例如在智能制造、家庭服务、医疗康复等领域。它可以用于训练机器人完成各种复杂的操作任务，例如装配、搬运、清洁等。通过引入人类指令，PRISM可以使机器人更好地理解人类的意图，并根据人类的偏好进行个性化调整。此外，PRISM还可以用于训练机器人与人类进行协作，共同完成任务，提高工作效率和安全性。
📄 摘要（原文）
This paper presents PRISM: an instruction-conditioned refinement method for imitation policies in robotic manipulation. This approach bridges Imitation Learning (IL) and Reinforcement Learning (RL) frameworks into a seamless pipeline, such that an imitation policy on a broad generic task, generated from a set of user-guided demonstrations, can be refined through reinforcement to generate new unseen fine-grain behaviours. The refinement process follows the Eureka paradigm, where reward functions for RL are iteratively generated from an initial natural-language task description. Presented approach, builds on top of this mechanism to adapt a refined IL policy of a generic task to new goal configurations and the introduction of constraints by adding also human feedback correction on intermediate rollouts, enabling policy reusability and therefore data efficiency. Results for a pick-and-place task in a simulated scenario show that proposed method outperforms policies without human feedback, improving robustness on deployment and reducing computational burden.