FieldGuideRAG: Image-Grounded GraphRAG for Fine-Grained Recognition with Vision-Language Models

📄 arXiv: 2610.40971v1 📥 PDF

作者: Jiacheng Ding, Yanliang Qi, Cong Guo, Peihua Mai

分类: cs.CV, cs.IR

发布日期: 2026-10-29

💡 一句话要点

提出FieldGuideRAG以解决细粒度物种识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细粒度识别 视觉语言模型 知识图谱 生态问题回答 多模态融合

📋 核心要点

  1. 现有的多模态GraphRAG系统在细粒度物种识别中，文本描述无法提供足够的视觉细节，导致相似物种难以区分。
  2. FieldGuideRAG通过将真实照片与知识图谱节点相结合，利用冻结的视觉语言模型进行物种验证，提升了识别精度。
  3. 在多个数据集上，FieldGuideRAG的验证得分显著优于现有方法，且在生态问题回答中表现出高达89.5%的正确率。

📝 摘要（中文）

我们提出了FieldGuideRAG，这是一种无训练的GraphRAG方法，利用视觉语言模型（VLM）通过与知识图谱节点上存储的真实照片进行比较来识别细粒度物种。现有的多模态GraphRAG系统在文本描述中缺乏足够的视觉细节，无法有效区分相似物种。我们的图谱为每个物种节点存储一张照片，并将每个物种与其亲属、地理分布和生态事实连接。冻结的VLM通过验证每个候选节点的照片来确认查询。FieldGuideRAG将验证得分与范围边缘融合，并从已验证物种的事实边缘回答关于生物的提问。在CUB-200、Wikidata图谱和四个iNaturalist领域中，节点照片在每个图谱上均提高了验证效果，而文本描述的贡献有限。候选池的验证得分超过SigLIP检索器最多16分，范围边缘在iNaturalist上增加了7到19分，从事实边缘回答的正确率高达89.5%。验证得分还能够检测出图谱中缺失的物种查询。图谱、提示和代码将被公开。

🔬 方法详解

问题定义：论文旨在解决细粒度物种识别中的视觉信息不足问题，现有方法依赖文本描述，难以有效区分相似物种。

核心思路：通过构建一个包含真实照片的知识图谱，利用视觉语言模型（VLM）进行物种验证，从而提高识别的准确性和可靠性。

技术框架：整体架构包括知识图谱的构建、节点照片的存储、VLM的冻结验证过程，以及基于验证结果的生态问题回答模块。

关键创新：最重要的创新在于将图谱中的照片与VLM结合，克服了传统方法中仅依赖文本描述的局限性，显著提升了细粒度物种的识别能力。

关键设计：在设计中，图谱节点存储每个物种的照片，VLM用于验证候选节点的照片，结合范围边缘和事实边缘进行综合评分，确保了系统的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FieldGuideRAG在CUB-200和iNaturalist数据集上，验证得分比SigLIP检索器高出最多16分，范围边缘的引入使得得分提升7到19分，且从事实边缘回答生态问题的正确率高达89.5%。

🎯 应用场景

该研究的潜在应用领域包括生物多样性监测、生态研究和物种识别工具的开发。通过提高细粒度物种识别的准确性，FieldGuideRAG能够为生态保护和生物研究提供重要支持，未来可能在教育和公众参与方面产生积极影响。

📄 摘要（原文）

We present FieldGuideRAG, a training-free GraphRAG method in which a vision-language model, or VLM, recognizes fine-grained species by comparing the query with real photographs stored on the nodes of a knowledge graph. Multimodal GraphRAG systems describe each entity in text, and text conveys little of the visual detail that separates look-alike species. Our graph stores one photograph on every species node and links each species to its relatives, its geographic range and its ecological facts. A frozen VLM verifies the query against the photograph of each candidate node. FieldGuideRAG fuses the verification scores with the range edge and answers questions about the organism from the fact edges of the verified species. On CUB-200, a Wikidata graph and four iNaturalist domains, the node photograph improves verification over the species name on every graph, while text descriptions add little. Verification of the candidate pool exceeds a SigLIP retriever by up to 16 points, the range edge adds 7 to 19 points on iNaturalist, and answering from fact edges is correct on up to 89.5% of 28,820 ecological questions. The verification scores also detect queries whose species is missing from the graph. Graphs, prompts and code will be released.