RouteGoT: Node-Adaptive Routing for Cost-Efficient Graph of Thoughts Reasoning

📄 arXiv: 2603.05818v1 📥 PDF

作者: Yuhang Liu, Ruijie Wang, Yunlong Chu, Bing Hao, Yumeng Lin, Shengzhong Liu, Minglai Shao

分类: cs.CL

发布日期: 2026-03-06

💡 一句话要点

提出RouteGoT以解决图结构推理中的成本效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图结构推理 节点自适应路由 大型语言模型 成本效率 多步推理

📋 核心要点

  1. 现有的图结构推理方法在复杂性和效率之间存在矛盾，导致性能不稳定和资源浪费。
  2. RouteGoT通过节点自适应路由框架，优化了推理过程中的模型选择和资源分配，提升了效率。
  3. 实验结果显示，RouteGoT在准确性上平均提升8.1个百分点，同时输出令牌减少79.1%，优于现有基线。

📝 摘要（中文）

大型语言模型（LLMs）在多步推理方面表现出色，但推理结构复杂性增加并不总能提高系统级回报。现有的树状思维（ToT）、思维图（GoT）和自适应思维图（AGoT）方法在某些基准上提高了准确性，但通常会引入显著的令牌消耗和延迟，并且在任务分布上其增益不稳定。为了解决这一问题，本文提出了RouteGoT，一个预算可控的节点自适应路由框架，通过优先使用强模型进行规划和合成，同时根据预测的难度动态分配轻量模型和经济策略到叶子子任务。实验表明，RouteGoT在推理、检索和多跳问答基准上实现了准确性匹配或提升，同时显著减少了令牌使用。

🔬 方法详解

问题定义：本文旨在解决图结构推理中存在的效率低下和资源浪费问题，现有方法在复杂推理任务中表现不稳定，且常常消耗过多的计算资源和时间。

核心思路：RouteGoT的核心思路是通过节点自适应路由，结合强模型和轻量模型的优势，动态分配资源，以实现高效的推理过程。这样的设计能够在保证推理质量的同时，降低资源消耗。

技术框架：RouteGoT的整体架构包括全局推理调度器、节点自适应路由模块和预算约束机制。全局调度器负责控制推理过程中的资源分配，而路由模块则根据任务的难度动态选择合适的模型。

关键创新：RouteGoT的主要创新在于引入了预算约束和节点自适应路由机制，使得推理过程能够在用户指定的令牌预算内进行优化，从而实现可预测的性能与成本权衡。

关键设计：在设计上，RouteGoT设置了明确的预算限制，并通过预测子任务的难度来选择合适的模型，确保在复杂任务中仍能保持高效的推理性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RouteGoT在推理、检索和多跳问答基准上实现了平均8.1个百分点的准确性提升，同时输出令牌减少79.1%。此外，RouteGoT在成本-准确性权衡上优于现有路由基线，展现出在不同预算目标和任务下的鲁棒性。

🎯 应用场景

RouteGoT的研究成果在多种应用场景中具有潜在价值，包括智能问答系统、信息检索和复杂决策支持等领域。通过优化推理过程，该方法能够在资源有限的情况下提供高效的解决方案，推动智能系统的实际应用和发展。

📄 摘要（原文）

Large Language Models (LLMs) excel at multi-step reasoning, yet increasing the structural complexity of inference does not consistently improve system-level returns. Methods such as Tree of Thoughts (ToT), Graph of Thoughts (GoT), and Adaptive Graph of Thoughts (AGoT) can boost accuracy on some benchmarks, but often introduce substantial overhead in token consumption and latency, and their gains can be unstable across task distributions-sometimes underperforming simpler Chain-of-Thought (CoT) or direct input-output prompting (IO). We attribute this inefficiency to stage-wise and node-wise heterogeneity inside GoT-style reasoning pipelines: high-quality planning and final synthesis are globally coupled and typically benefit from strong models, whereas many intermediate subtasks are localized and can be solved accurately by lighter models with far fewer tokens. Motivated by these observations, we propose RouteGoT, a budget-controllable, node-adaptive routing framework for graph-structured reasoning. RouteGoT performs in-graph routing by prioritizing strong models for planning and synthesis, while dynamically allocating lightweight models and cost-effective strategies to leaf subtasks based on predicted difficulty. It further integrates explicit budget constraints into a global inference scheduler to control graph expansion under a user-specified token budget, enabling predictable performance-cost trade-offs. Experiments across reasoning, retrieval, and multi-hop QA benchmarks show that RouteGoT matching or improving accuracy while substantially reducing token usage; specifically, it achieves an average 8.1 percentage points accuracy improvement and 79.1\% output token reduction compared to AGoT. Furthermore, RouteGoT outperforms existing routing baselines by maintaining a superior cost-accuracy trade-off, demonstrating improved robustness under varying budget targets and tasks.