LLM-Personalize: Aligning LLM Planners with Human Preferences via Reinforced Self-Training for Housekeeping Robots

📄 arXiv: 2404.14285v3 📥 PDF

作者: Dongge Han, Trevor McInroe, Adam Jelley, Stefano V. Albrecht, Peter Bell, Amos Storkey

分类: cs.RO, cs.AI

发布日期: 2024-04-22 (更新: 2024-12-30)

备注: COLING 2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出LLM-Personalize以解决家务机器人个性化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 家务机器人 个性化 模仿学习 自我训练 任务规划 用户偏好对齐

📋 核心要点

  1. 现有的LLM规划器在家庭机器人应用中缺乏个性化，无法有效满足用户的具体需求。
  2. LLM-Personalize框架通过模仿学习和迭代自我训练相结合，优化LLM规划器以对齐用户偏好。
  3. 在Housekeep基准测试中，LLM-Personalize的成功率比现有方法提高了30%以上，显示出显著的性能提升。

📝 摘要（中文）

大型语言模型（LLMs）在机器人应用中展现出显著潜力，尤其是在任务规划方面。然而，在家庭机器人应用中，个性化仍然是一个关键挑战。本文提出了LLM-Personalize，一个新颖的框架，旨在通过优化管道个性化LLM规划器。该框架利用局部观察构建场景图，在多房间、部分可观察的家庭场景中进行迭代规划。生成的计划由一系列高层次动作组成，并由控制器执行。核心在于结合模仿学习和迭代自我训练的优化管道，以有效对齐用户偏好。实验结果表明，LLM-Personalize在Housekeep基准测试中成功率提高超过30%，显著改善了与人类偏好的对齐。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在家庭机器人任务规划中的个性化不足问题。现有方法无法有效适应不同用户的偏好，导致规划结果不理想。

核心思路：LLM-Personalize通过构建一个优化管道，结合模仿学习和迭代自我训练，来实现对LLM规划器的个性化调整。这种设计旨在通过用户示范来引导模型学习，从而更好地满足用户需求。

技术框架：该框架包含两个主要模块：模仿学习阶段和迭代自我训练阶段。模仿学习阶段通过用户示范进行初步对齐，而自我训练阶段则通过探索用户偏好进一步优化模型。

关键创新：最重要的创新在于将模仿学习与自我训练相结合，形成一个闭环优化过程。这种方法与传统的单一学习方式不同，能够更有效地对齐用户偏好。

关键设计：在模型训练中，采用了特定的损失函数来平衡模仿学习与自我训练的贡献，并设计了适应性参数调整机制，以便在不同用户偏好下进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Housekeep基准测试中，LLM-Personalize的成功率超过了30%的提升，相较于现有的LLM规划器表现出显著的改进，证明了其在用户偏好对齐方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括家庭服务机器人、智能家居系统等，能够显著提升机器人在家庭环境中的任务执行能力和用户满意度。未来，随着个性化需求的增加，LLM-Personalize有望在更多领域得到应用，推动智能家居的普及与发展。

📄 摘要（原文）

Large language models (LLMs) have shown significant potential for robotics applications, particularly task planning, by harnessing their language comprehension and text generation capabilities. However, in applications such as household robotics, a critical gap remains in the personalization of these models to individual user preferences. We introduce LLM-Personalize, a novel framework with an optimization pipeline designed to personalize LLM planners for household robotics. Our LLM-Personalize framework features an LLM planner that performs iterative planning in multi-room, partially-observable household scenarios, making use of a scene graph constructed with local observations. The generated plan consists of a sequence of high-level actions which are subsequently executed by a controller. Central to our approach is the optimization pipeline, which combines imitation learning and iterative self-training to personalize the LLM planner. In particular, the imitation learning phase performs initial LLM alignment from demonstrations, and bootstraps the model to facilitate effective iterative self-training, which further explores and aligns the model to user preferences. We evaluate LLM-Personalize on Housekeep, a challenging simulated real-world 3D benchmark for household rearrangements, and show that LLM-Personalize achieves more than a 30 percent increase in success rate over existing LLM planners, showcasing significantly improved alignment with human preferences. Project page: https://gdg94.github.io/projectllmpersonalize/.