A Study on Large Language Models' Limitations in Multiple-Choice Question Answering

📄 arXiv: 2401.07955v2 📥 PDF

作者: Aisha Khatun, Daniel G. Brown

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-15 (更新: 2024-08-15)

💡 一句话要点

研究大型语言模型在多项选择题回答中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多项选择题 模型评估 开源模型 教育技术

📋 核心要点

  1. 现有的小型开源语言模型在多项选择题回答任务中表现不佳，65%的模型无法理解任务。
  2. 本研究通过分析26个小型开源模型，系统性地评估其在多项选择题回答中的能力和局限性。
  3. 实验结果显示，仅有4个模型能够正确选择答案，且只有5个模型在选择顺序上是独立的，提示使用时需谨慎。

📝 摘要（中文）

随着大型语言模型（LLMs）的广泛应用，尤其是开源模型的出现，越来越多的小型模型被集成到消费设备中，作为独立解决方案或各种AI任务的子程序。然而，尽管这些模型被广泛使用，但对其具体能力和局限性的系统分析仍然缺乏。本研究针对多项选择题（MCQ）这一广泛使用的任务进行了分析，研究了26个小型开源模型，发现65%的模型无法理解任务，仅有4个模型能够正确选择答案，且只有5个模型在选择顺序上是独立的。这些结果令人担忧，尤其是在这些模型被广泛用于MCQ测试的背景下。我们建议在使用MCQ评估LLMs之前，务必谨慎并测试其任务理解能力。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在多项选择题（MCQ）回答中的理解和选择能力不足的问题。现有方法缺乏对模型能力的系统性分析，导致对其实际应用的信心不足。

核心思路：通过分析小型开源模型在MCQ任务中的表现，识别其理解能力和选择准确性，以便为后续的模型改进提供依据。

技术框架：研究首先收集26个小型开源模型，然后设计一系列MCQ任务进行测试，最后对模型的选择能力进行统计分析。

关键创新：本研究的创新在于系统性地评估了小型开源模型在MCQ任务中的表现，揭示了其普遍存在的理解和选择能力不足的问题。

关键设计：在实验中，模型的选择能力通过对比其在不同MCQ任务中的表现来评估，关注选择顺序的独立性和正确答案的选择率。实验设计确保了结果的可靠性和可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，65%的小型开源模型无法理解多项选择题任务，仅有4个模型能够正确选择答案，且只有5个模型在选择顺序上是独立的。这一发现强调了在使用这些模型进行MCQ评估时需谨慎，尤其是在教育和测试领域。

🎯 应用场景

该研究的结果对教育评估、智能问答系统和其他依赖于多项选择题的应用场景具有重要的实际价值。了解模型的局限性可以帮助开发者在设计和应用这些模型时采取更为谨慎的策略，从而提高系统的整体性能和可靠性。

📄 摘要（原文）

The widespread adoption of Large Language Models (LLMs) has become commonplace, particularly with the emergence of open-source models. More importantly, smaller models are well-suited for integration into consumer devices and are frequently employed either as standalone solutions or as subroutines in various AI tasks. Despite their ubiquitous use, there is no systematic analysis of their specific capabilities and limitations. In this study, we tackle one of the most widely used tasks - answering Multiple Choice Question (MCQ). We analyze 26 small open-source models and find that 65% of the models do not understand the task, only 4 models properly select an answer from the given choices, and only 5 of these models are choice order independent. These results are rather alarming given the extensive use of MCQ tests with these models. We recommend exercising caution and testing task understanding before using MCQ to evaluate LLMs in any field whatsoever.