When the Tool Decides: LLM Agents Defer Blindly to Graph Neural Network Tools, and Stronger Backbones Defer More

📄 arXiv: 2606.14476v1 📥 PDF

作者: Zhongyuan Wang, Pratyusha Vemuri

分类: cs.AI, cs.LG

发布日期: 2026-06-12

备注: 9 pages, 2 figures. Under review at TMLR

💡 一句话要点

研究表明LLM代理在使用GNN工具时缺乏判断力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 图神经网络 节点分类 代理系统 选择性调用 模型能力 盲目依赖

📋 核心要点

  1. 现有研究假设LLM代理能够自主判断何时使用GNN工具，但实验结果显示代理实际上缺乏这种判断能力。
  2. 本文通过将冻结的GNN作为工具提供给LLM代理，直接测量其在节点分类任务中的表现，揭示了代理对工具的盲目依赖。
  3. 实验结果表明，代理的预测与GNN输出高度一致，且在不同模型能力下，依赖程度逐渐增加，选择性调用机制的效果有限。

📝 摘要（中文）

随着将大型语言模型（LLM）代理与图神经网络（GNN）结合的研究增多，假设代理能够判断何时及如何依赖这些工具。本文直接测试了这一假设，结果发现LLM代理在节点分类任务中几乎完全依赖于GNN的输出，未能展现出独立的判断能力。研究表明，代理的预测与GNN的结果高度一致，且随着模型能力的增强，依赖程度也随之增加。尽管引入了选择性调用机制，仍未能显著提升整体性能，提示在评估代理与工具系统时需谨慎对待代理的判断能力。

🔬 方法详解

问题定义：本文旨在探讨LLM代理在依赖GNN工具时是否具备独立判断能力，现有方法未能有效验证这一假设，导致对代理能力的误解。

核心思路：通过将冻结的GNN作为可调用工具，直接测量LLM代理在节点分类任务中的表现，以验证其是否仅仅是对工具输出的盲目遵循。

技术框架：研究设计了一个实验框架，包含LLM代理、冻结的GNN工具和节点分类任务，使用ogbn-arxiv和WikiCS数据集进行评估。

关键创新：最重要的创新在于揭示了LLM代理在使用GNN工具时的盲目依赖现象，挑战了现有对代理判断能力的假设。

关键设计：实验中使用了不同规模的模型（Qwen2.5 0.5B-7B），并引入了选择性调用机制，结果表明该机制未能显著提升性能，且依赖程度随模型能力的增强而增加。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，LLM代理的预测与GNN输出一致性高达97.6-99.2%，且随着模型能力的增强，依赖程度从0.60提升至0.98。引入的选择性调用机制仅能缩小高同质性下的性能差距（0.71到0.83），但未能实现整体性能提升。

🎯 应用场景

该研究对LLM与GNN结合的应用场景具有重要启示，尤其是在需要智能决策的领域，如推荐系统、社交网络分析等。通过理解代理的判断能力，可以更好地设计智能系统，提升其在复杂任务中的表现。

📄 摘要（原文）

A growing line of work equips large language model (LLM) agents with graph neural networks (GNNs) as callable tools, assuming the agent exercises judgment over when and how much to rely on such a tool. We test this directly. We expose a frozen GNN to a ReAct-style LLM agent as an explicit tool and measure, on node classification over a text-attributed graph (ogbn-arxiv, replicated on WikiCS), whether the agent uses the tool or merely obeys it. We find the agent does not exercise judgment: its predictions agree with the raw GNN's 97.6-99.2% of the time (5 seeds), collapsing into a GNN parrot that adopts the tool's output wholesale and bypasses its own reasoning. Sweeping backbone capability (Qwen2.5 0.5B-7B), the deference is not a weak-model artifact: among models able to invoke the tool, agreement rises with capability (0.60 to 0.98 from 1.5B to 7B). Crucially, the cost of deference does not shrink as capability grows and grows where alternatives emerge: a per-node oracle over the available actions beats the parrot by 0.09-0.18 at 3B and 0.12-0.22 at 7B, roughly doubling at high homophily, because the parrot is pinned to the frozen GNN while the agent's alternatives improve; at 7B a simple neighbour-label tool overtakes the GNN at high homophily (0.81 vs 0.71) yet the agent still defers. A simple selective-invocation gate recovers about half of that high-homophily gap (0.71 to 0.83) but yields no net global gain, and held-out estimates bound the best achievable gate over standard test-time features to at most a third of the oracle headroom: reliable selective invocation looks limited by available information, not merely router design. Our results are a cautionary measurement: evaluations of agent+tool systems cannot assume the agent adds judgment on top of the tool, and selective invocation must be designed in rather than expected to emerge from scale.