Improving Fine-Grained Manipulation through Demonstration Expansion and Execution Design
作者: Jingxu Gu, Dongze Lian
分类: cs.RO
发布日期: 2026-10-29
备注: RoboFineMani Workshop Challenge at CoRL 2026
💡 一句话要点
提出DEED框架以提升细粒度操作的执行效果
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 细粒度操作 机器人控制 视觉-语言-动作 演示扩展 执行设计 闭环重规划 逆运动学
📋 核心要点
- 细粒度操作面临的挑战在于现有方法对视觉变化的鲁棒性不足，导致机器人控制精度低。
- DEED框架通过演示扩展和执行设计，能够从同一场景生成多种指令的演示，提升了操作的灵活性和准确性。
- 实验结果显示，DEED在执行效果上取得了85.55%的整体得分，且性能受执行时间、去噪预算和抓取器映射的影响显著。
📝 摘要（中文）
细粒度操作要求机器人策略能够遵循指令、对视觉变化保持鲁棒性，并将预测的动作转化为精确的机器人控制。本文提出了演示扩展与执行设计（DEED）框架，旨在通过结构化的演示扩展和执行设计，将预训练的视觉-语言-动作策略适应于五个MetaFine任务。DEED从同一初始场景生成不同指令的演示，并在不同的相机位置和光照条件下渲染每个物理轨迹，同时保持其原始状态和动作目标。在监督适应过程中，分层采样策略平衡指令、轨迹和视觉条件。在部署阶段，DEED使用逆运动学、为每个任务选择的抓取器映射和闭环重规划，将预测的动作块转换为机器人命令。DEED的官方整体得分为85.55%。
🔬 方法详解
问题定义：本论文旨在解决细粒度操作中机器人策略对视觉变化的鲁棒性不足及动作预测与控制精度低的问题。现有方法在复杂环境下难以有效执行多样化指令。
核心思路：DEED框架的核心思想是通过结构化的演示扩展和执行设计，适应预训练的视觉-语言-动作策略，以实现对多种指令的有效处理。通过生成多样化的演示，提升机器人在不同条件下的操作能力。
技术框架：DEED框架包括两个主要模块：演示扩展和执行设计。演示扩展模块负责从同一初始场景生成不同指令的演示，而执行设计模块则将预测的动作块转换为具体的机器人控制命令。
关键创新：DEED的创新点在于其分层采样策略，能够在监督适应过程中平衡指令、轨迹和视觉条件，从而提升了模型的适应性和执行效果。这一设计与传统方法相比，显著增强了对复杂环境的应对能力。
关键设计：在参数设置上，DEED采用了逆运动学和闭环重规划技术，以确保机器人能够精确执行预测的动作。同时，抓取器映射的选择也是根据任务特性进行优化，确保不同任务下的最佳执行效果。
🖼️ 关键图片
📊 实验亮点
DEED框架在实验中取得了85.55%的官方整体得分，显示出在细粒度操作中的优越性能。固定策略评估表明，执行效果受执行时间、去噪预算和抓取器映射的显著影响，展示了该方法在不同条件下的适应性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和智能家居等场景，能够有效提升机器人在复杂环境中的操作能力和灵活性。未来，DEED框架有望推动更广泛的机器人应用，提升人机协作的效率和安全性。
📄 摘要（原文）
Fine-grained manipulation requires a robot policy to follow instructions, remain robust to visual variations, and translate predicted actions into precise robot control. We present Demonstration Expansion and Execution Design (DEED), a framework for adapting a pretrained vision-language-action policy to the five MetaFine tasks through structured demonstration expansion and execution design. DEED generates demonstrations for different instructions from the same initial scene and renders each physical trajectory under different camera positions and lighting conditions while preserving its original states and action targets. A hierarchical sampling strategy balances instructions, trajectories, and visual conditions during supervised adaptation. At deployment, DEED converts predicted action chunks into robot commands using inverse kinematics, gripper mappings selected for each task, and closed-loop replanning. DEED achieves an official Overall score of 85.55%. Fixed-policy evaluations show that performance varies with execution horizon, denoising budget, and gripper mapping.