All-For-One: Distilling Visual Foundation Models to a Fast, Memory-Efficient Visuomotor Policy
作者: Byungkun Lee, Minho Park, Hojoon Lee, Dongyoon Hwang, Donghu Kim, Hyunseung Kim, Kyungmin Lee, Yunho Kim, Jaegul Choo
分类: cs.RO
发布日期: 2026-11-03
💡 一句话要点
提出All-For-One框架以高效蒸馏视觉基础模型用于机器人控制
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉基础模型 机器人控制 蒸馏训练 特权学习 语义表示 轻量级策略 高效算法
📋 核心要点
- 现有方法在将视觉基础模型应用于机器人控制时面临高计算成本和时间不一致性等挑战。
- 论文提出的All-For-One框架通过特权学习将VFM作为信息源，分阶段蒸馏出轻量级策略。
- 实验结果显示，AFO在多个任务中表现优异，参数使用量减少30倍，延迟降低50倍，显著提升了效率。
📝 摘要（中文）
视觉基础模型（VFM）提供深度和分割等语义线索，适用于机器人操作，但由于计算成本高、时间不一致性及静态互联网图像与自我中心机器人观察之间的分布偏移，直接应用于闭环控制不切实际。我们提出All-For-One（AFO），一个两阶段的蒸馏框架，在训练过程中将VFM作为特权信息，利用下游机器人数据。AFO遵循特权学习范式，将语义表示学习与推理时的策略执行解耦。在All阶段，教师策略将RGB观察与多个VFM的输出融合，以学习语义丰富的表示。在For-One阶段，这一知识在分布内蒸馏为轻量级的仅RGB学生策略。经过在两个Adroit任务和五个MetaWorld任务的仿真评估，以及三个真实世界操作任务的测试，AFO在使用比VFM编码器少30倍参数和比其自身教师低50倍延迟的情况下，超越了先前基于基础模型的方法，为将基础模型知识转移到机器人控制提供了高效路径。
🔬 方法详解
问题定义：本论文旨在解决视觉基础模型在机器人控制中应用的高计算成本和时间不一致性问题。现有方法在静态图像和机器人观察之间存在分布偏移，导致性能下降。
核心思路：论文提出的All-For-One框架通过特权学习，将VFM作为训练过程中的信息源，解耦语义表示学习与策略执行，从而提高效率和性能。
技术框架：AFO框架分为两个阶段：All阶段和For-One阶段。在All阶段，教师策略融合RGB观察与多个VFM输出，学习丰富的语义表示；在For-One阶段，将知识蒸馏为轻量级的仅RGB学生策略。
关键创新：AFO的主要创新在于将特权学习与蒸馏技术结合，允许在训练中利用VFM的优势，同时生成高效的执行策略。这一方法与传统的直接应用VFM的方式有本质区别。
关键设计：在设计中，AFO使用了特定的损失函数以平衡教师与学生策略的学习，确保知识有效传递。网络结构经过优化，以减少参数数量和计算延迟，确保在实际应用中的高效性。
🖼️ 关键图片
📊 实验亮点
在实验中，AFO在两个Adroit任务和五个MetaWorld任务的仿真中表现优异，使用的参数比VFM编码器少30倍，延迟比教师策略低50倍。这些结果表明AFO在效率和性能上均显著优于先前的基础模型方法。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过高效的知识转移，AFO能够使机器人在复杂环境中更好地执行任务，提升操作的灵活性和智能化水平，具有重要的实际价值和未来影响。
📄 摘要（原文）
Visual Foundation Models (VFMs) provide semantic cues such as depth and segmentation useful for robotic manipulation, but directly deploying them in closed-loop control is impractical due to high computational cost, temporal inconsistency, and distribution shift between static internet images and egocentric robot observations. We propose All-For-One (AFO), a two-stage distillation framework that leverages VFMs strictly as privileged information during training, using downstream robotic data. Following the privileged learning paradigm, AFO decouples semantic representation learning from inference-time policy execution. In the All stage, a teacher policy fuses RGB observations with outputs from multiple VFMs to learn a semantically enriched representation. In the For-One stage, this knowledge is distilled in-distribution into a lightweight RGB-only student policy. Evaluated on two Adroit tasks and five MetaWorld tasks in simulation, as well as three real-world manipulation tasks, AFO outperforms prior foundation-model-based approaches while using over 30x fewer parameters than VFM-based encoders and 50x lower latency than its own teacher in simulation benchmarks, providing an efficient pathway for transferring foundation-model knowledge to robotic control.