Potential-Guided Particle Steering for Negation-Constrained Dexterous Grasping
作者: Geonho Kim, SooGon Kim, Jongmin Lee
分类: cs.RO, cs.CV
发布日期: 2026-09-01
备注: Project page: https://geonho2.github.io/Potential-Guided/
💡 一句话要点
提出潜在引导粒子引导以解决否定约束灵巧抓取问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 灵巧抓取 否定约束 序列蒙特卡洛 无分类器引导 机器人技术
📋 核心要点
- 现有的灵巧抓取模型在处理包含禁止抓取区域的指令时表现不佳，导致抓取失败。
- 本文提出了一种新的推理框架，结合序列蒙特卡洛与无分类器引导，能够在没有否定训练示例的情况下进行有效的抓取。
- 在NegGrasp基准上，本文的方法将最强基线的违规率从57.9%降低至17.2%，同时提升了约束意识和物理成功率。
📝 摘要（中文）
语言驱动的灵巧抓取模型在指定抓取位置时表现良好，但当指令包含禁止抓取的区域时（例如“抓住把手但避免抓住主体”），模型表现不佳。现有的训练语料库几乎没有避免指令，收集每种可能的约束示例是不切实际的。为此，本文提出了一种推理时框架，能够在不需要否定特定训练示例的情况下进行否定约束的灵巧抓取。结合序列蒙特卡洛方法与无分类器引导，我们的方法在引导采样朝向指令部分的同时，修剪前往禁止区域的候选项。我们构建了NegGrasp基准，以评估该设置。
🔬 方法详解
问题定义：本文旨在解决灵巧抓取模型在处理包含禁止抓取区域的指令时的系统性失败问题。现有方法在训练时缺乏否定约束的示例，导致模型无法正确理解禁止抓取的区域。
核心思路：提出了一种推理时框架，通过结合序列蒙特卡洛方法与无分类器引导，能够在没有否定示例的情况下引导模型进行有效的抓取。该设计旨在通过引导采样朝向允许区域，同时修剪掉前往禁止区域的候选项，来提高抓取的准确性。
技术框架：整体架构包括一个冻结的3D部件定位模型，该模型根据语言指令定位禁止区域。然后，使用序列蒙特卡洛方法进行采样，同时应用无分类器引导来优化抓取候选项。
关键创新：最重要的创新在于提出了一种无需否定训练示例的推理框架，显著提升了模型在复杂指令下的抓取能力。与现有方法相比，该方法能够更有效地处理禁止区域的约束。
关键设计：在技术细节上，采用了特定的损失函数来平衡抓取成功率与约束遵循率，同时优化了模型的参数设置，以确保在推理阶段的高效性与准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文的方法在NegGrasp基准上显著降低了违规率，从57.9%降至17.2%。此外，模型在约束意识和物理成功率方面均有提升，展示了其在复杂抓取任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括人机交互、机器人抓取与操作、智能家居设备等。通过提高灵巧抓取模型在复杂指令下的表现，能够推动机器人在实际环境中的应用，提升其自主操作能力和安全性。
📄 摘要（原文）
Language-driven dexterous grasp models, such as DextER, perform well when instructions specify where to grasp, but we find they fail systematically when an instruction also specifies where not to grasp (e.g., "grasp the handle but avoid the body"). Existing training corpora, DexGYSNet among them, contain virtually no avoidance instructions, and collecting examples for every possible constraint is impractical. Moreover, because every part mentioned during training denotes a contact target, models may interpret a forbidden part as another region to grasp rather than one to avoid. We therefore introduce an inference-time framework for negation-constrained dexterous grasping that requires no negation-specific training examples. Combining Sequential Monte Carlo with classifier-free guidance, our method guides sampling toward the instructed part while pruning candidates headed for the forbidden region, without any negation examples during training. A frozen 3D part-grounding model localizes the forbidden region from the language instruction. To evaluate this setting, we construct NegGrasp, a benchmark of paired positive/negative instructions with constraint-aware metrics that credit a grasp only if it both accomplishes the task and respects the stated constraint. On NegGrasp, our method reduces the violation rate of the strongest baseline from 57.9% to 17.2% while improving both constraint-aware and physical success.