AQA-Bench: An Interactive Benchmark for Evaluating LLMs' Sequential Reasoning Ability

📄 arXiv: 2402.09404v2 📥 PDF

作者: Siwei Yang, Bingchen Zhao, Cihang Xie

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-14 (更新: 2025-06-20)

🔗 代码/项目: GITHUB

💡 一句话要点

提出AQA-Bench以评估大语言模型的顺序推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 顺序推理 交互式评估 算法基准 深度优先搜索 性能评估 模型比较

📋 核心要点

  1. 现有方法在评估大语言模型的顺序推理能力时缺乏有效的交互式评估机制，导致模型性能评估不准确。
  2. 论文提出了AQA-Bench，通过交互式评估协议来测试LLMs在算法上下文中的顺序推理能力，涵盖多种算法。
  3. 实验结果显示，封闭源模型在顺序推理能力上明显优于开源模型，并且提供的上下文示例可能会影响模型的表现。

📝 摘要（中文）

本文介绍了AQA-Bench，一个新的基准测试，用于评估大语言模型（LLMs）在算法上下文中的顺序推理能力，如深度优先搜索（DFS）。该评估基准的关键特征在于其交互式评估协议，例如在DFS中，每个节点的连接边的可用性取决于模型对该节点的遍历，因此需要LLM有效记住已访问节点并考虑未来步骤的环境反馈来制定后续移动策略。我们全面构建了AQA-Bench，涵盖了三种不同的算法，即二分搜索、深度优先搜索和广度优先搜索，并评估了14种不同的LLM的顺序推理能力。我们的研究揭示了几个有趣的发现：封闭源模型如GPT-4和Gemini通常表现出更强的顺序推理能力，显著优于开源LLM。

🔬 方法详解

问题定义：本文旨在解决现有方法在评估大语言模型顺序推理能力时缺乏交互性的问题，导致模型在动态环境中的表现难以准确评估。

核心思路：论文的核心思路是设计一个交互式评估基准AQA-Bench，通过动态反馈机制来测试模型的顺序推理能力，确保模型能够有效记忆和利用先前的状态信息。

技术框架：AQA-Bench的整体架构包括三个主要算法模块：二分搜索、深度优先搜索和广度优先搜索。每个模块都设计了交互式评估协议，允许模型在执行过程中动态获取信息。

关键创新：最重要的技术创新在于交互式评估协议的引入，使得模型在推理过程中能够根据环境反馈进行动态调整，这与传统静态评估方法有本质区别。

关键设计：在设计中，模型的输入包括当前状态和先前访问的节点信息，损失函数则考虑了模型在动态环境中的决策质量，确保模型能够在有限的上下文中进行有效推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，封闭源模型如GPT-4和Gemini在顺序推理能力上显著优于开源模型，表现出更高的准确性和效率。此外，提供的上下文示例对模型的表现有负面影响，尤其是在交互环境中，显示出少量的前置步骤能够显著提升小模型的性能。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化决策系统和教育技术等。通过提升大语言模型在顺序推理方面的能力，AQA-Bench能够帮助开发更智能的系统，改善人机交互体验，并推动相关领域的研究进展。

📄 摘要（原文）

This paper introduces AQA-Bench, a novel benchmark to assess the sequential reasoning capabilities of large language models (LLMs) in algorithmic contexts, such as depth-first search (DFS). The key feature of our evaluation benchmark lies in its interactive evaluation protocol - for example, in DFS, the availability of each node's connected edge is contingent upon the model's traversal to that node, thereby necessitating the LLM's ability to effectively remember visited nodes and strategize subsequent moves considering the possible environmental feedback in the future steps. We comprehensively build AQA-Bench with three different algorithms, namely binary search, depth-first search, and breadth-first search, and to evaluate the sequential reasoning ability of 14 different LLMs. Our investigations reveal several interesting findings: (1) Closed-source models like GPT-4 and Gemini generally show much stronger sequential reasoning ability, significantly outperforming open-source LLMs. (2) Naively providing in-context examples may inadvertently hurt few-shot performance in an interactive environment due to over-fitting to examples. (3) Instead of using optimal steps from another test case as the in-context example, a very limited number of predecessor steps in the current test case following the optimal policy can substantially boost small models' performance. (4) The performance gap between weak models and strong models is greatly due to the incapability of weak models to start well. (5) The scaling correlation between performance and model size is not always significant, sometimes even showcasing an inverse trend. We hope our study can catalyze future work on advancing the understanding and enhancement of LLMs' capabilities in sequential reasoning. The code is available at https://github.com/UCSC-VLAA/AQA-Bench.