FOCUS: First-Order Control Using Optimal Transport Supervision for Imitation from Observations
作者: João A. Cândido Ramos, Lionel Blondé, Hugues Vinzant, Jacopo Castellini, Alexandros Kalousis
分类: cs.LG, cs.RO
发布日期: 2026-10-30
备注: Accepted at the NeurIPS 2026 Workshop on Physical Understanding for Decision-Making
💡 一句话要点
提出FOCUS以解决模仿学习中的时间对齐问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 最优传输 可微分学习 机器人控制 运动任务
📋 核心要点
- 现有的模仿学习方法在处理状态演示时缺乏时间对齐，导致优化不稳定，尤其是在长时间接触丰富的轨迹中。
- FOCUS通过结合局部最优传输对齐与短视距可微分学习，提出了一种新的模仿学习框架，能够有效匹配专家行为。
- 在接触丰富的运动任务中，FOCUS显著提高了样本效率和训练稳定性，优于对抗性模仿学习和现有可微分模仿基线。
📝 摘要（中文）
模仿学习从状态演示中恢复行为时，缺乏已知的时间对应关系。现有的可微分模拟器虽然提供路径策略梯度，但在长时间接触丰富的轨迹中进行微分会导致优化不稳定。本文提出FOCUS，结合局部最优传输对齐与短视距可微分演员-评论家学习。FOCUS通过软的最佳K目标将代理的回放窗口与多个采样的专家段匹配，强调局部兼容匹配。由此产生的基于传输的成本提供可微分的模仿奖励，而学习的评论家则在回放视距之外引导价值。FOCUS不需要时间对齐的轨迹或专家对齐的初始化。实验表明，FOCUS在包括由152个肌肉激活控制的肌肉骨骼人形机器人在内的接触丰富的运动任务中，相较于对抗性模仿学习方法和先前的可微分模仿基线，显著提高了样本效率和训练稳定性。
🔬 方法详解
问题定义：本文旨在解决模仿学习中缺乏时间对齐的问题，现有方法在处理长时间接触丰富的轨迹时，优化过程往往不稳定，导致学习效果不佳。
核心思路：FOCUS的核心思路是结合局部最优传输对齐与短视距可微分演员-评论家学习，通过软的最佳K目标实现对专家行为的有效匹配，从而提高模仿学习的稳定性和效率。
技术框架：FOCUS的整体架构包括多个主要模块：首先，通过局部最优传输对齐将代理的回放窗口与多个专家段进行匹配；其次，利用可微分的模仿奖励来指导学习；最后，学习的评论家在回放视距之外引导价值的估计。
关键创新：FOCUS的主要创新在于引入了基于传输的成本作为可微分模仿奖励，这一设计使得模仿学习不再依赖于时间对齐的轨迹或专家对齐的初始化，显著提高了学习的灵活性和效率。
关键设计：FOCUS采用了软的最佳K目标函数，强调局部兼容匹配，此外，评论家网络的设计允许其在回放视距之外进行价值引导，增强了模型的学习能力。
🖼️ 关键图片
📊 实验亮点
在DFlex平台的接触丰富运动任务中，FOCUS显著提高了样本效率和训练稳定性，相较于对抗性模仿学习方法和先前的可微分模仿基线，表现出更优的学习效果，尤其是在处理复杂的肌肉骨骼人形机器人控制任务时。
🎯 应用场景
FOCUS的研究成果在机器人控制、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提高模仿学习的效率和稳定性，该方法能够促进智能体在复杂环境中的自主学习与适应，推动相关技术的发展与应用。
📄 摘要（原文）
Imitation learning from observations must recover behavior from state-only demonstrations without known temporal correspondence. Differentiable simulators provide pathwise policy gradients, but differentiating through long, contact-rich trajectories can make optimization unstable. We introduce FOCUS, which combines local optimal-transport alignment with short-horizon differentiable actor-critic learning. FOCUS matches agent rollout windows to multiple sampled expert segments using a soft best-of-$K$ objective that emphasizes locally compatible matches. The resulting transport-based costs provide differentiable imitation rewards, while a learned critic bootstraps value beyond the rollout horizon. FOCUS requires neither temporally aligned trajectories nor expert-aligned initialization or teacher forcing. Across contact-rich locomotion tasks in DFlex, including a musculoskeletal humanoid controlled by 152 muscle activations, FOCUS improves sample efficiency and training stability over adversarial imitation-from-observation methods and prior differentiable imitation baselines.