A Chain-of-Thought Is as Strong as Its Weakest Link: A Benchmark for Verifiers of Reasoning Chains

📄 arXiv: 2402.00559v4 📥 PDF

作者: Alon Jacovi, Yonatan Bitton, Bernd Bohnet, Jonathan Herzig, Or Honovich, Michael Tseng, Michael Collins, Roee Aharoni, Mor Geva

分类: cs.CL

发布日期: 2024-02-01 (更新: 2024-05-21)

备注: Accepted to ACL 2024

💡 一句话要点

提出REVEAL数据集以评估推理链的自动验证器

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理验证 链式思维 数据集 开放域问答 自动验证器

📋 核心要点

  1. 现有的推理验证方法缺乏细粒度的数据集，限制了其评估和改进的能力。
  2. 本文提出REVEAL数据集，提供了丰富的标签以支持推理链的自动验证。
  3. 实验结果表明，现有验证器在逻辑正确性和矛盾检测方面表现不佳，亟需改进。

📝 摘要（中文）

在复杂推理任务中，提示语言模型提供逐步答案（如“链式思维”）是主要方法，准确的推理链通常能提高下游任务性能。然而，现有文献缺乏细粒度的逐步数据集来评估推理验证方法，限制了该领域的进展。为此，本文引入REVEAL（推理验证评估）数据集，旨在基准测试开放域问答设置中复杂链式思维推理的自动验证器。REVEAL为语言模型答案中每个推理步骤的相关性、证据段归属和逻辑正确性提供了全面标签。评估结果显示，验证器在验证推理链方面存在困难，尤其是在验证逻辑正确性和检测矛盾方面。

🔬 方法详解

问题定义：本文旨在解决缺乏细粒度推理验证数据集的问题，现有方法在验证推理链的准确性和逻辑性方面存在不足。

核心思路：通过引入REVEAL数据集，提供全面的标签信息，帮助评估和改进自动验证器的性能，特别是在复杂推理任务中。

技术框架：REVEAL数据集涵盖多个数据集和先进语言模型，包含对每个推理步骤的相关性、证据归属和逻辑正确性等标签，构成评估的基础。

关键创新：REVEAL数据集的推出是本文的主要创新点，它为推理验证提供了系统的评估标准，与现有方法相比，能够更细致地分析推理链的各个环节。

关键设计：数据集设计中，关注了推理步骤的多样性和复杂性，确保标签的准确性和全面性，以便更好地支持自动验证器的训练和评估。

📊 实验亮点

在REVEAL数据集上的评估显示，现有的推理验证器在逻辑正确性验证和矛盾检测方面的表现不佳，准确率普遍低于50%。这一结果强调了推理链验证领域的挑战和改进的必要性，为后续研究指明了方向。

🎯 应用场景

该研究的潜在应用领域包括开放域问答系统、智能助手和教育技术等。通过提高推理链的验证能力，能够显著提升这些系统的准确性和可靠性，进而改善用户体验和决策支持。未来，REVEAL数据集可能成为推理验证领域的标准基准，推动相关技术的发展和应用。

📄 摘要（原文）

Prompting language models to provide step-by-step answers (e.g., "Chain-of-Thought") is the prominent approach for complex reasoning tasks, where more accurate reasoning chains typically improve downstream task performance. Recent literature discusses automatic methods to verify reasoning to evaluate and improve their correctness. However, no fine-grained step-level datasets are available to enable thorough evaluation of such verification methods, hindering progress in this direction. We introduce REVEAL: Reasoning Verification Evaluation, a dataset to benchmark automatic verifiers of complex Chain-of-Thought reasoning in open-domain question-answering settings. REVEAL includes comprehensive labels for the relevance, attribution to evidence passages, and logical correctness of each reasoning step in a language model's answer, across a variety of datasets and state-of-the-art language models. Evaluation on REVEAL shows that verifiers struggle at verifying reasoning chains - in particular, verifying logical correctness and detecting contradictions. Available at https://reveal-dataset.github.io/ .