Learning from Physical Experience:Context-Space Adaptation for Robotic Manipulation
作者: Yihan Zeng, Yisu Li, Kaixin Huang, Marc WuDunn, Amelia Kovacs, Mikael Harseno, Kimmy Lin, Porter Hunley, Fred Shentu, Philipp Wu, Zhongyu Li, Zike Yan
分类: cs.RO
发布日期: 2026-10-30
💡 一句话要点
提出LEXP以解决机器人操作中的上下文适应问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 上下文适应 物理经验学习 多模态推理 任务规划 经验模块 智能机器人 操作策略
📋 核心要点
- 现有方法在将多模态推理能力转化为物理操作时面临挑战，尤其是在复杂任务中缺乏有效的上下文适应机制。
- 本文提出LEXP框架，通过结合任务规划与经验模块，实现从物理经验中学习并生成上下文反馈，以指导后续操作。
- 在12个真实操作任务中，LEXP的成功率达到63.9%，相比于仅使用记忆的52.8%和基础Astra的5.6%有显著提升。
📝 摘要（中文）
近年来，多模态基础模型在感知、推理和上下文学习方面表现出色，但将这些能力转化为物理动作仍然具有挑战性。通过在多种操作任务中的实验证明，ChatGPT-6-Astra作为一种通用推理器，可以作为一种可物理执行的、响应上下文的操作策略。基于此，本文提出LEXP，一个通过上下文空间适应从物理经验中学习的框架，结合任务级规划与经验模块，提取和保留适用条件下的经验教训，并为后续动作生成上下文反馈。在12个真实操作任务中，LEXP的成功率为63.9%，显著优于仅使用记忆的52.8%和基础Astra的5.6%。
🔬 方法详解
问题定义：本文旨在解决机器人操作中将多模态推理能力有效转化为物理动作的难题。现有方法在复杂任务中缺乏有效的上下文适应机制，导致操作成功率低下。
核心思路：LEXP框架的核心思想是通过上下文空间适应，从物理经验中学习并生成反馈，以指导后续的操作决策。这种设计旨在提高机器人在动态环境中的适应能力。
技术框架：LEXP框架主要包含两个模块：任务级规划模块和经验模块。任务级规划负责制定操作策略，而经验模块则分析执行过程中的证据，提取和保留经验教训，并在后续任务中进行重用。
关键创新：LEXP的主要创新在于其上下文空间适应机制，通过结合任务规划与经验学习，能够将物理交互转化为可重用的指导。这与传统方法的静态记忆存储方式形成鲜明对比。
关键设计：在设计中，模型权重和动作接口保持固定，确保系统的稳定性。同时，经验模块通过分析执行轨迹，提供反馈指导，优化任务进展和动作修正。
🖼️ 关键图片
📊 实验亮点
在12个真实操作任务中，LEXP实现了63.9%的成功率，相比仅使用记忆的52.8%和基础Astra的5.6%有显著提升。在特定任务中，去除规划和经验的影响，成功率分别下降至44.4%和33.3%，展示了LEXP的有效性。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、服务机器人和家庭助理等。通过提高机器人在复杂环境中的操作能力，LEXP可以显著提升机器人在实际应用中的效率和可靠性，推动智能机器人技术的发展。
📄 摘要（原文）
Recent multimodal foundation models exhibit strong perception, reasoning, and in-context learning capabilities, but translating these capabilities into physical action remains challenging. Through real-world experiments across diverse manipulation tasks, we find that ChatGPT-6-Astra, a state-of-the-art general-purpose reasoner, can serve as a physically actionable, context-responsive manipulation policy, demonstrating effective fine manipulation and spatial reasoning. Building on these findings, we introduce LEXP, a harness for learning from physical experience through context-space adaptation. LEXP combines task-level planning with an experience module that interprets execution evidence, extracts and retains lessons with applicability conditions, and reuses relevant lessons to generate contextual feedback for subsequent actions. Model weights and the action interface remain fixed throughout. Across 12 real-world manipulation tasks, LEXP achieves $23/36$ successful trials (63.9\%), compared with $19/36$ (52.8\%) with memory alone and $2/36$ (5.6\%) for vanilla Astra. On three tasks, bread transfer, sort trash and toiletries, and retrieve drawer, removing planning reduces success from $7/9$ to $4/9$, while removing retained experience reduces it to $3/9$. Execution traces illustrate feedback-guided corrections and cross-episode reuse of an inspection strategy. Execution analyses illustrate how task structure and experience-derived feedback guide task progression, action correction, and experience reuse. These results support context-space adaptation as a practical mechanism for turning physical interaction into reusable guidance for robotic manipulation.