WorldSense: A Synthetic Benchmark for Grounded Reasoning in Large Language Models
作者: Youssef Benchekroun, Megi Dervishi, Mark Ibrahim, Jean-Baptiste Gaya, Xavier Martinet, Grégoire Mialon, Thomas Scialom, Emmanuel Dupoux, Dieuwke Hupkes, Pascal Vincent
分类: cs.CL, cs.AI
发布日期: 2023-11-27
💡 一句话要点
提出WorldSense基准以评估大型语言模型的推理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理能力 基准测试 合成数据 模型评估 自然语言处理 偏见检测
📋 核心要点
- 现有大型语言模型在推理能力上存在显著不足，尤其是在处理简单实体排列时容易出错。
- WorldSense基准通过设计三种问题类型，旨在系统评估LLMs的推理一致性，并避免潜在的偏见。
- 实验结果表明，尽管微调模型在特定问题上有所提升，但其泛化能力仍然有限，无法超出特定问题空间。
📝 摘要（中文）
我们提出了WorldSense，一个基准测试，旨在评估大型语言模型（LLMs）在维持隐性世界模型方面的一致性，通过测试它们如何从简单的实体排列描述中进行推理。WorldSense是一个合成基准，包含三种问题类型，每种类型都有其简单的控制，明确避免偏见，通过将问题的抽象结构与词汇和表达解耦，以及将所有问题子部分与正确响应解耦来实现。我们在三种最先进的聊天LLMs（GPT3.5、GPT4和Llama2-chat）上运行了基准测试，结果显示这些模型即使在仅有三个对象的情况下也会出错。此外，它们存在明显的响应偏见，倾向于某些响应而不考虑问题。即使使用链式思维提示和上下文学习，错误依然存在。最后，我们展示了虽然在类似问题上的微调确实带来了显著的改进，但微调模型并未超出约束问题空间进行泛化。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在推理任务中的一致性和准确性问题。现有方法在处理简单的实体排列时，模型容易出现错误，且存在响应偏见。
核心思路：论文提出的WorldSense基准通过设计三种不同类型的问题，旨在系统性地评估LLMs的推理能力，并通过解耦问题结构与表达来避免偏见。
技术框架：WorldSense基准包含三个主要模块：问题生成模块、模型评估模块和结果分析模块。问题生成模块负责创建不同类型的问题，模型评估模块用于运行LLMs并收集响应，结果分析模块则用于评估模型的推理能力和偏见。
关键创新：最重要的技术创新在于通过合成基准的设计，明确解耦问题的抽象结构与具体表达，确保评估的公正性和有效性。这与现有方法的本质区别在于避免了模型对特定词汇的依赖。
关键设计：在设计中，问题的复杂性和控制条件被精心设置，以确保模型在不同情况下的表现能够被准确评估。同时，使用了链式思维提示和上下文学习等技术，但仍发现模型的泛化能力不足。
🖼️ 关键图片
📊 实验亮点
实验结果显示，三种先进的聊天LLMs在处理仅有三个对象的简单问题时仍然出现错误，且存在明显的响应偏见。尽管微调模型在特定问题上有显著提升，但其泛化能力仍然受到限制，未能超出约束问题空间。
🎯 应用场景
该研究为大型语言模型的推理能力提供了一个标准化的评估工具，能够帮助研究人员识别和改进模型在实际应用中的表现。未来，该基准可以扩展到更复杂的推理任务中，推动自然语言处理领域的进一步发展。
📄 摘要（原文）
We propose WorldSense, a benchmark designed to assess the extent to which LLMs are consistently able to sustain tacit world models, by testing how they draw simple inferences from descriptions of simple arrangements of entities. Worldsense is a synthetic benchmark with three problem types, each with their own trivial control, which explicitly avoids bias by decorrelating the abstract structure of problems from the vocabulary and expressions, and by decorrelating all problem subparts with the correct response. We run our benchmark on three state-of-the-art chat-LLMs (GPT3.5, GPT4 and Llama2-chat) and show that these models make errors even with as few as three objects. Furthermore, they have quite heavy response biases, preferring certain responses irrespective of the question. Errors persist even with chain-of-thought prompting and in-context learning. Lastly, we show that while finetuning on similar problems does result in substantial improvements -- within- and out-of-distribution -- the finetuned models do not generalise beyond a constraint problem space.