MasonTigers at SemEval-2024 Task 9: Solving Puzzles with an Ensemble of Chain-of-Thoughts

📄 arXiv: 2403.14982v2 📥 PDF

作者: Md Nishat Raihan, Dhiman Goswami, Al Nahian Bin Emran, Sadiya Sayara Chowdhury Puspo, Amrita Ganguly, Marcos Zampieri

分类: cs.CL

发布日期: 2024-03-22 (更新: 2024-04-03)

💡 一句话要点

利用链式思维集成方法解决自然语言理解中的谜题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言理解 大型语言模型 链式思维 推理能力 谜题解答 集成学习 提示技术

📋 核心要点

  1. 现有方法在处理复杂推理任务时，往往难以有效利用大型语言模型的潜力，导致理解和解答谜题的效果不佳。
  2. 论文提出通过链式思维提示法逐步分解推理过程，以增强大型语言模型在自然语言理解任务中的表现。
  3. 实验结果显示，使用集成链式思维提示的方法在谜题解答中取得了显著提升，特别是在单词和句子谜题子任务中表现优异。

📝 摘要（中文）

本文介绍了MasonTigers团队在SemEval-2024任务9中的提交，旨在通过自然语言理解测试谜题数据集来解决相关问题。我们采用大型语言模型（LLMs）结合多种提示技术进行任务求解。通过零-shot和few-shot提示方法，我们在专有LLM上获得了较好的结果，而链式思维提示法则通过逐步分解推理过程进一步提升了性能。最终，我们通过集成链式思维提示获得了最佳结果，在单词谜题子任务中排名第二，在句子谜题子任务中排名第十三。我们的研究表明，逐步解释性提示能够更好地挖掘大型模型中的知识。

🔬 方法详解

问题定义：本文旨在解决自然语言理解中的谜题解答问题，现有方法在复杂推理任务中表现不足，难以充分利用大型语言模型的能力。

核心思路：我们提出了一种链式思维提示法，通过逐步分解推理过程，使模型能够更清晰地理解和解决谜题，从而提升解答的准确性。

技术框架：整体方法包括多个阶段：首先使用零-shot和few-shot提示生成初步答案，然后引入链式思维提示法进行逐步推理，最后通过集成多个链式思维提示来优化结果。

关键创新：本研究的主要创新在于将链式思维提示法与集成学习相结合，显著提升了大型语言模型在复杂推理任务中的表现，区别于传统的单一提示方法。

关键设计：在模型训练中，我们采用了特定的提示格式和参数设置，以确保链式思维提示能够有效引导模型进行逐步推理，具体的损失函数和网络结构设计也经过精心调整以适应任务需求。

📊 实验亮点

实验结果显示，使用链式思维提示法的集成方法在单词谜题子任务中获得了第二名，在句子谜题子任务中排名第十三，显著优于传统的零-shot和few-shot方法，展示了推理能力的显著提升。

🎯 应用场景

该研究的潜在应用领域包括教育、游戏和智能问答系统等，能够帮助用户更好地理解和解决复杂问题。通过提升大型语言模型的推理能力，未来可能在更多自然语言处理任务中发挥重要作用，推动智能助手和自动化系统的发展。

📄 摘要（原文）

Our paper presents team MasonTigers submission to the SemEval-2024 Task 9 - which provides a dataset of puzzles for testing natural language understanding. We employ large language models (LLMs) to solve this task through several prompting techniques. Zero-shot and few-shot prompting generate reasonably good results when tested with proprietary LLMs, compared to the open-source models. We obtain further improved results with chain-of-thought prompting, an iterative prompting method that breaks down the reasoning process step-by-step. We obtain our best results by utilizing an ensemble of chain-of-thought prompts, placing 2nd in the word puzzle subtask and 13th in the sentence puzzle subtask. The strong performance of prompted LLMs demonstrates their capability for complex reasoning when provided with a decomposition of the thought process. Our work sheds light on how step-wise explanatory prompts can unlock more of the knowledge encoded in the parameters of large models.