Spectrally Routed Diffusion Policy for Multi-Task Robotic Manipulation
作者: Mingcong Li, Yihan Zhou, Jiayu Qu, Xueyang Guo, Yilin Mo
分类: cs.RO
发布日期: 2026-11-03
备注: 8 pages. Accepted for publication in IEEE Robotics and Automation Letters (RA-L)
💡 一句话要点
提出光谱路由扩散策略以解决多任务机器人操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 扩散策略 多任务学习 机器人操作 视觉编码 去噪器 光谱路由 任务区分性
📋 核心要点
- 现有的扩散策略在多任务联合训练中表现不佳，无法与专门训练的模型相媲美。
- 提出光谱路由扩散策略（SR-DP），通过改进编码器和去噪器设计，提升任务区分性。
- SR-DP在多个任务上取得显著提升，成功率在六个RoboTwin任务中达到68.4%。
📝 摘要（中文）
基于扩散的策略在单任务机器人操作中表现出色，但在多任务联合训练时，单一模型的表现不及专门针对每个任务训练的模型。本文关注两个主要挑战：一是现有卷积编码器生成的视觉条件缺乏足够的区分性，二是来自不兼容动作模式的梯度更新导致共享去噪器的参数更新干扰。为此，提出了光谱路由扩散策略（SR-DP），通过冻结的VGGT编码器和空间压缩适配器生成紧凑的多尺度语义几何标记，作为任务区分的视觉条件。实验结果显示，SR-DP在六个RoboTwin任务中平均成功率为68.4%，超越多任务VO-DP 21.8个百分点，并在四个真实双手任务中，阶段二的成功率达到43.0%，较阶段一提升19.0个百分点。
🔬 方法详解
问题定义：本文旨在解决多任务机器人操作中，单一模型在联合训练时表现不佳的问题。现有方法中，卷积编码器生成的视觉条件缺乏区分性，且不兼容的动作模式导致梯度更新干扰。
核心思路：提出光谱路由扩散策略（SR-DP），通过冻结的VGGT编码器与空间压缩适配器生成紧凑的多尺度语义几何标记，以增强任务的视觉条件区分性。
技术框架：SR-DP的整体架构包括两个主要阶段：首先训练去噪器作为标准扩散策略，然后通过奇异值分解（SVD）将选定的线性层分解为正交的秩一专家基础，并通过光谱路由和Householder输入旋转进行适配。
关键创新：SR-DP的核心创新在于使用光谱路由和正交专家基础的结合，显著提升了多任务学习的效果，避免了参数更新的干扰。
关键设计：在设计中，采用冻结的VGGT编码器和空间压缩适配器，确保生成的标记具有多尺度特征，同时在去噪器的训练中使用标准扩散策略，确保模型的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
在六个RoboTwin任务中，SR-DP的平均成功率达到68.4%，比多任务VO-DP提升21.8个百分点，同时在四个真实双手任务中，阶段二的成功率为43.0%，较阶段一提升19.0个百分点，显示出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人以及任何需要多任务操作的自动化系统。通过提升多任务学习的效率，SR-DP能够在复杂环境中实现更高效的操作，具有重要的实际价值和未来影响。
📄 摘要（原文）
Diffusion-based policies have achieved strong performance on single-task robotic manipulation. However, a single model trained jointly on multiple tasks consistently underperforms the per-task specialists trained on the same demonstrations. We focus on two challenges. First, the convolutional encoders commonly used in diffusion-based policies produce visual conditions that are not discriminative enough. Second, gradients from incompatible action modes update the shared denoiser's dense parameters along the same directions, causing destructive interference during joint training. To address both, we propose SR-DP (Spectrally Routed Diffusion Policy). A frozen VGGT encoder with a spatial-compression adapter produces compact multi-scale semantic-geometric tokens, a task-discriminative visual condition for tasks that share a workspace. We first train the denoiser as a standard diffusion policy, then decompose selected linear layers by SVD into a frozen basis of orthogonal rank-one experts, adapted through spectral routing and Householder input rotations. On six RoboTwin tasks, SR-DP averages a 68.4% success rate, surpassing multi-task VO-DP by 21.8 points and the strongest per-task baseline by 3.8 points. On four real-world bimanual tasks, Stage 2 reaches a 43.0% average success rate and improves over Stage 1 by 19.0 points.