Agentic RAG-VLM: Affordance-Aware Retrieval-Augmented Generation with Self-Reflective Planning for Robotic Grasping

📄 arXiv: 2606.31200v1 📥 PDF

作者: Tao Chen, Lizheng Liu, Jiaxu Wang, Ziyue Jiang, Ruiqi Tian, JiGuang Huo, Zhongxue Gan

分类: cs.AI

发布日期: 2026-06-30

备注: 8 pages,5 figures,5 tables

💡 一句话要点

提出Agentic RAG-VLM以解决复杂环境下的机器人抓取问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting)

关键词: 机器人抓取 视觉语言模型 检索增强生成 物理可抓性 场景图推理 自主反思规划

📋 核心要点

  1. 现有的VLM方法在复杂环境中的抓取能力不足，未能考虑物体的物理特性和空间关系。
  2. 提出的Agentic RAG-VLM框架结合了检索增强生成和自主反思规划，提升了抓取策略的有效性。
  3. 在360次实验中，Agentic RAG-VLM实现了78.3%的成功率，显著优于传统VLM方法。

📝 摘要（中文）

在复杂环境中实现通用的机器人抓取对于在非结构化人类空间中部署操控器至关重要。然而，现有基于视觉语言模型（VLM）的方法依赖于视觉相似性进行物体匹配，忽视了物理可抓性和材料脆弱性等物理特性，并且在没有空间推理或失败恢复的情况下操作，限制了其在物体密集或物理多样化场景中的有效性。本文提出了Agentic RAG-VLM，一个统一框架，通过将检索增强生成（RAG）与视觉语言模型（VLM）和自主反思规划相结合，弥合了基于VLM的语义理解与物理基础的抓取执行。该框架在12项任务基准测试中实现了78.3%的整体成功率，相较于仅使用VLM的基线提升了53.3个百分点。

🔬 方法详解

问题定义：本文旨在解决现有VLM方法在复杂环境中抓取物体时的局限性，特别是未能考虑物体的物理可抓性和空间关系的问题。

核心思路：Agentic RAG-VLM通过整合检索增强生成和自主反思规划，提供了一种新的抓取策略，强调物理特性和空间推理的重要性。

技术框架：该框架包括三个主要模块：层次化可抓性感知的RAG（HAA-RAG）、场景图约束推理器和自主反思管道，形成一个闭环的抓取优化流程。

关键创新：HAA-RAG模块通过四维可抓性描述符进行策略检索，强调功能兼容性而非视觉外观，场景图推理器则将空间约束转化为具体的抓取参数调整，这是与现有方法的本质区别。

关键设计：在设计中，HAA-RAG使用四种可抓性描述符，场景图推理器构建空间关系图，并且自主反思管道包含14种失败分类和三层自适应重试机制，以实现闭环抓取优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在360次实验中，Agentic RAG-VLM在12项任务基准测试中实现了78.3%的成功率，相较于仅使用VLM的基线提升了53.3个百分点，展示了其在复杂抓取任务中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等场景，能够有效提升机器人在复杂环境中的抓取能力，具有重要的实际价值和未来影响。随着机器人技术的发展，Agentic RAG-VLM的框架有望在更多实际应用中得到推广。

📄 摘要（原文）

Generalizable robotic grasping in cluttered environments is essential for deploying manipulators in unstructured human spaces, yet existing VLM-based methods rely on visual similarity for object matching, neglecting physical affordances such as handle graspability and material fragility, and operate open-loop without spatial reasoning or failure recovery, limiting their effectiveness when objects are densely packed or physically diverse. We present Agentic RAG-VLM, a unified framework that bridges VLM-based semantic understanding and physically grounded grasp execution by integrating retrieval-augmented generation (RAG) with vision-language models (VLMs) and agentic self-reflective planning. Agentic RAG-VLM introduces three tightly coupled components: (1) a Hierarchical Affordance-Aware RAG (HAA-RAG) that encodes four-dimensional affordance descriptors, including type, material, fragility, and graspable region, and retrieves strategies by functional affordance compatibility rather than visual appearance; (2) a Scene Graph Constraint Reasoner that constructs spatial relationship graphs from VLM perception and translates proximity, occlusion, and support constraints into concrete grasp parameter adjustments; and (3) an Agentic Self-Reflective Pipeline with a 14-type failure taxonomy and three-level adaptive retry for closed-loop grasp refinement. Evaluated on a 12-task benchmark spanning single-grasp, interactive, and long-horizon scenarios with 360 trials per configuration, Agentic RAG-VLM achieves 78.3 percent overall success, a 53.3 percentage-point absolute gain over VLM-only baselines, demonstrating that affordance-aware retrieval, scene graph reasoning, and agentic recovery are jointly essential for robust manipulation.