TsuGO: Probing Search Efficiency in LLM Reasoning via Go Life-and-Death Problems

📄 arXiv: 2608.13221v1 📥 PDF

作者: Shunwen Bai, Ziping Ma, Chaoyang Zhang, Yarong Wang, Jiale Liu, Zhen Qin, Qingpei Guo

分类: cs.AI

发布日期: 2026-08-13

备注: 23 pages, 12 figures, 20 tables, 2 algorithms

💡 一句话要点

提出TsuGO以评估LLM推理中的搜索效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理评估 搜索效率 围棋生死问题 链式思维 过程级基准 资源分配

📋 核心要点

  1. 现有的LLM推理评估方法主要关注最终答案的准确性，未能有效评估推理过程中的搜索组织和资源分配。
  2. 本文提出TsuGO基准，通过围棋生死问题评估LLM的搜索效率，解析推理过程并提供结构化的搜索树。
  3. 实验结果显示，当前LLM在搜索效率上仍有较大提升空间，表现更接近于无指导的搜索算法，而非神经网络引导的策略。

📝 摘要（中文）

随着对大型语言模型（LLM）推理评估的转变，从最终答案的准确性到过程级评估，现有方法仍未能有效捕捉模型如何规划推理路径和分配推理资源。本文提出TsuGO，一个用于评估LLM推理中搜索效率的过程级基准，基于围棋的生死问题。这些问题提供了封闭且可验证的解空间，并具有内在的对抗结构，使得候选生成、响应检查、分支比较和回溯成为推理的必要部分。通过限制解空间，TsuGO将领域知识与搜索组织分离，解析链式思维为结构化搜索树，并报告搜索效率及其他诊断指标。实验结果表明，当前LLM在解决围棋生死问题时仍远未稳定，表现更接近于无指导的搜索算法。

🔬 方法详解

问题定义：本文旨在解决现有LLM推理评估方法无法有效捕捉模型推理过程中的搜索组织和资源分配的问题。现有方法多集中于最终答案的准确性，忽视了推理过程的复杂性。

核心思路：TsuGO基准通过围棋生死问题提供封闭的解空间，迫使模型在推理过程中进行候选生成、响应检查和回溯，从而更好地评估其搜索效率和推理资源的分配。

技术框架：TsuGO的整体架构包括问题生成、候选生成、响应验证和结果分析四个主要模块。通过这些模块，模型能够在结构化的搜索树中进行推理，评估其搜索效率和Token效率。

关键创新：TsuGO的最大创新在于将领域知识与搜索组织分离，提供了一种新的评估LLM推理过程的方式。与现有方法相比，TsuGO更关注推理过程中的动态搜索行为，而不仅仅是最终结果。

关键设计：在设计上，TsuGO使用了特定的围棋生死问题作为基准，设置了明确的评估指标，如搜索效率和Token效率，确保模型在推理过程中能够进行有效的资源分配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前LLM在围棋生死问题的解决上表现不稳定，强模型能够更早找到正确候选并在有效分支上持续努力，但大多数模型仍表现得像无指导的搜索算法。TsuGO的引入为评估推理过程提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、自动化推理和决策支持系统等。通过提高LLM在复杂推理任务中的搜索效率，能够显著提升其在实际应用中的表现和可靠性，推动人工智能技术的进一步发展。

📄 摘要（原文）

The evaluation of LLM reasoning is moving from final-answer accuracy to process-level assessment, yet existing methods still fail to capture how models plan reasoning paths and allocate reasoning resources--that is, how they organize search. Prior process-level methods focus on the coherence and redundancy of chain-of-thought (CoT), and most benchmark tasks have a single objective solvable by static capabilities such as derivation and tool use, leaving search organization unmeasured. We introduce TsuGO, a process-level reasoning benchmark for evaluating Search Efficiency in LLM reasoning through Go life-and-death problems. These problems provide closed and verifiable solution spaces with an inherent adversarial structure, making candidate generation, response checking, branch comparison, and backtracking necessary parts of reasoning rather than incidental trace patterns. By constraining the solution space, TsuGO disentangles domain knowledge from search organization, parses CoT into a structured search tree, and reports Search Efficiency together with Token Efficiency and other diagnostic metrics and visualizations. Experiments show that current LLMs remain far from stable tsumego solving: stronger models succeed by finding the correct candidate earlier and sustaining effort on productive branches, but most models still behave much closer to unguided search algorithms than to neural-guided KataGo. Longer CoT or higher Token Efficiency does not necessarily imply better search. Our results identify search organization and reasoning-resource allocation as missing dimensions in LLM reasoning evaluation.