Instructing Large Language Models to Identify and Ignore Irrelevant Conditions

📄 arXiv: 2403.12744v1 📥 PDF

作者: Zhenyu Wu, Chao Shen, Meng Jiang

分类: cs.CL

发布日期: 2024-03-19

备注: NAACL 2024 - Camera Ready

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出I$^3$C以解决数学文字问题中的无关条件干扰

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学文字问题 大型语言模型 推理路径 无关条件 链式思维 语义相关性 少量示例

📋 核心要点

  1. 现有的链式思维提示方法在处理数学文字问题时，容易受到无关条件的干扰，导致推理准确率低。
  2. 本文提出的I$^3$C方法通过识别和忽略无关条件，帮助大型语言模型更有效地进行推理。
  3. 在八个MWP数据集上的实验中，I$^3$C显著提高了求解准确率，尤其在GSM-IC2-1K和GSM-ICM-1K数据集上分别达到了96.0和94.1的准确率。

📝 摘要（中文）

数学文字问题（MWP）的求解需要根据给定的问题描述生成推理路径，但这些描述中常常包含无关条件。现有的链式思维（CoT）提示方法在解决MWP时容易受到无关条件的干扰，导致准确率低下。本文提出了一种新方法I$^3$C，旨在指导大型语言模型（LLMs）识别并忽略无关条件。该方法识别出与问题语义相关性较弱的一组无关条件候选，并提示LLMs验证这些条件。最后，通过对相关和无关条件的验证指导LLMs，以避免混淆并改善推理路径。此外，本文还提出了I$^3$C-Select，通过语义相关性测量选择最具混淆性的问题对I$^3$C进行增强。实验结果表明，I$^3$C与任何CoT提示方法结合均可提升MWP求解性能。

🔬 方法详解

问题定义：本文解决的问题是数学文字问题中的无关条件对推理路径的干扰。现有的链式思维提示方法在面对这些无关条件时表现不佳，导致求解准确率低下。

核心思路：I$^3$C的核心思路是通过识别与问题语义相关性较弱的无关条件，并指导LLMs验证这些条件，从而减少混淆，提高推理的准确性。

技术框架：I$^3$C的整体架构包括三个主要模块：首先，识别无关条件候选；其次，提示LLMs进行验证；最后，基于验证结果指导LLMs进行推理。

关键创新：I$^3$C的关键创新在于其能够有效识别并忽略无关条件，这与现有方法的直接推理方式形成了显著区别。

关键设计：在参数设置上，I$^3$C采用了语义相关性测量来选择无关条件候选，并通过少量示例增强推理能力，确保模型在复杂问题上的表现。

📊 实验亮点

实验结果显示，使用I$^3$C与GPT-3.5-Turbo结合，GSM-IC2-1K和GSM-ICM-1K数据集的准确率分别达到了96.0和94.1，较现有最先进的复杂链式思维方法Complex-CoT分别提升了11.7和11.1个百分点，展现了显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括教育、自动化问答系统和智能辅导工具等。通过提高数学文字问题的求解能力，I$^3$C可以在教育技术中提供更精准的辅助，帮助学生更好地理解和解决问题，未来可能对教育公平和学习效率产生积极影响。

📄 摘要（原文）

Math word problem (MWP) solving requires generating a reasoning path based on a given problem description that often contains irrelevant conditions. Existing chain-of-thought (CoT) prompting methods elicited multi-step reasoning abilities of large language models (LLMs) to solve MWPs. However, they were seriously confused by the irrelevant conditions, resulting in low accuracy. In this paper, we propose a novel approach named I$^3$C that instructs LLMs to identify and ignore irrelevant conditions. It identifies a set of irrelevant condition candidates that have a weak semantic relevance with the question. Then it prompts LLMs to verify the irrelevant conditions. Lastly it instructs the LLMs with the verification on relevant and irrelevant conditions to avoid confusion and improve reasoning paths. Moreover, we propose to select (problem, reasoning paths) pairs as demonstrations to enhance I$^3$C with few-shot reasoning. We develop I$^3$C-Select that selects the most confusing problems based on the semantic relevance measurement. We conduct extensive experiments on eight MWP datasets. I$^3$C can be combined with any CoT prompting methods to improve the performance of solving MWPs. Notably, with GPT-3.5-Turbo and I$^3$C-Select, we achieve an accuracy of 96.0 and 94.1 on GSM-IC2-1K and GSM-ICM-1K, respectively, significantly outperforming the state-of-the-art few-shot prompting method Complex-CoT by +11.7 and +11.1. Our implementation is made publicly available at https://wzy6642.github.io/I3C.github.io/.