JEDI: Joint-Embedding Demonstration Compression for In-Context Imitation Learning

📄 arXiv: 2610.40356v1 📥 PDF

作者: Jiazhao Liang, Zhewen He, Shuaihang Yuan, Hao Huang, Yi Fang

分类: cs.RO

发布日期: 2026-10-29

💡 一句话要点

提出JEDI以解决长多模态轨迹压缩问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文模仿学习 演示压缩 潜在槽 关键帧预测 多模态轨迹 机器人适应性 人机交互

📋 核心要点

  1. 现有的上下文模仿学习方法在处理长多模态轨迹时面临示例数量限制的问题，影响了机器人策略的适应性。
  2. JEDI通过将演示压缩为潜在槽，训练其预测查询情境的下一阶段关键帧，从而有效保留重要的执行信息。
  3. 在LIBERO和真实机器人上的实验表明，JEDI在多示例上下文中表现优异，成功率和演示跟随性均有显著提升。

📝 摘要（中文）

在上下文模仿学习（ICIL）中，机器人策略通过测试时的演示进行适应，但长多模态轨迹限制了可容纳的示例数量。本文提出JEDI，压缩演示为潜在槽，训练以预测查询情境的下一阶段关键帧。通过任务和过程反事实，槽能够保留执行细节，而预测器从库中选择演示。后训练的关键点令机器人能够进行人手条件化。实验结果表明，JEDI支持多示例上下文，LIBERO目标控制显示成功率和演示跟随性相较于仅基于动作的压缩有显著提升。这些发现支持查询未来预测作为训练目标，以保留压缩演示中的执行相关信息。

🔬 方法详解

问题定义：本文旨在解决上下文模仿学习中长多模态轨迹导致的示例数量限制问题。现有方法在处理复杂任务时，无法有效利用所有可用演示，导致策略适应性不足。

核心思路：JEDI的核心思想是将演示压缩为潜在槽，训练这些槽以预测查询情境的下一阶段关键帧。通过这种方式，JEDI能够在压缩演示中保留关键的执行细节。

技术框架：JEDI的整体架构包括演示压缩模块、潜在槽训练模块和关键帧预测模块。演示首先被压缩为潜在槽，然后通过训练使其能够预测关键帧，最后通过后训练实现人手条件化。

关键创新：JEDI的主要创新在于引入了任务和过程反事实，帮助潜在槽保留执行细节，并通过预测器从演示库中选择合适的演示。这一设计与传统的仅基于动作的压缩方法有本质区别。

关键设计：在参数设置上，JEDI采用了关键点令牌进行后训练，损失函数设计为优化关键帧预测的准确性，网络结构则结合了多模态输入以增强模型的表达能力。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，JEDI在LIBERO和真实机器人上的表现优于传统方法，成功率提升显著，演示跟随性也有明显改善。具体而言，相较于仅基于动作的压缩，JEDI在多个任务中实现了更高的成功率和更好的演示效果。

🎯 应用场景

JEDI的研究成果在机器人学习和人机交互等领域具有广泛的应用潜力。通过有效压缩演示并保留关键执行信息，JEDI可以提升机器人在复杂环境中的适应能力，推动智能机器人在实际任务中的应用。未来，JEDI可能在自动驾驶、服务机器人等领域发挥重要作用。

📄 摘要（原文）

In-context imitation learning (ICIL) adapts robot policies through test-time demonstrations, but long multimodal trajectories constrain how many examples fit in context. We ask what a compressed demonstration should preserve. We propose JEDI, which compresses demonstrations into latent slots trained to predict the query episode's next-stage keyframe in a frozen video-JEPA space. Task and process counterfactuals help the slots preserve execution details, while the predictor selects demonstrations from a bank. Post-training with keypoint tokens enables human-hand conditioning on robots. Experiments on LIBERO and real robots show that JEDI supports many-shot context; LIBERO objective controls show improved success and demonstration following over action-only compression. These findings support query-future prediction as a training objective for preserving execution-relevant information in compressed demonstrations.