CombEval: A Framework for Evaluating Combinatorial Counting in Large Language Models
作者: Yuxu Zhou, Ondřej Kuželka, Yuyi Wang, Yuanhong Wang, Yi Chang
分类: cs.AI, cs.CL
发布日期: 2026-06-18
备注: under review. Code: https://github.com/YuxuZhou-CN/combination-problem-generation
🔗 代码/项目: GITHUB
💡 一句话要点
提出CombEval框架以评估大语言模型的组合计数能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 组合计数 大语言模型 动态基准 推理能力 错误分析 自然语言处理 求解器验证
📋 核心要点
- 现有方法在组合计数问题上缺乏动态评估机制，导致模型在复杂场景下表现不佳。
- CombEval通过类型化Cofola规范表示组合计数问题，允许系统性变化以生成自然语言问题。
- 实验结果显示，11个大语言模型在特定条件下表现脆弱，尤其是在约束解释和计数原则方面的失败。
📝 摘要（中文）
本文提出了CombEval，一个动态基准框架，用于评估大语言模型在组合计数方面的表现。CombEval通过对实体、组合对象、对象依赖关系和约束条件进行类型化Cofola规范表示，使得能够控制生成具有精确求解器验证答案的自然语言计数问题。与静态集合不同，CombEval支持对象类型、实体规模、约束数量和推理深度的系统性变化。我们在直接和代码增强设置下评估了11个大语言模型，发现模型在有序对象、不可区分元素、相对位置约束和嵌套对象依赖关系上表现脆弱。错误分析进一步识别了约束解释和计数原则的失败。CombEval为研究大语言模型在组合推理中失败的原因提供了诊断测试平台。代码和生成的基准套件已公开发布。
🔬 方法详解
问题定义：本文旨在解决大语言模型在组合计数任务中的评估问题。现有方法通常依赖静态数据集，无法有效应对复杂的组合计数场景，导致模型性能不稳定。
核心思路：CombEval框架的核心思路是通过动态生成具有精确求解器验证答案的组合计数问题，来系统性地评估模型的推理能力。这种方法允许对问题的多个维度进行控制和变化，从而更全面地测试模型的能力。
技术框架：CombEval的整体架构包括问题生成模块、求解器验证模块和评估模块。问题生成模块负责创建不同类型的组合计数问题，求解器验证模块确保生成问题的答案是准确的，而评估模块则对模型的表现进行系统性分析。
关键创新：CombEval的主要创新在于其动态生成问题的能力和对多维度变化的支持，这与传统静态数据集形成鲜明对比。通过这种方式，研究者能够更深入地理解模型在组合推理中的局限性。
关键设计：在设计上，CombEval允许用户设置对象类型、实体规模、约束数量和推理深度等参数，以生成多样化的问题。此外，框架还集成了求解器验证机制，确保生成问题的答案是准确的。
🖼️ 关键图片
📊 实验亮点
实验结果表明，11个大语言模型在处理有序对象和嵌套对象依赖关系时表现脆弱，尤其在约束解释和计数原则方面的失败率较高。这一发现为未来模型的改进提供了重要的方向。
🎯 应用场景
该研究的潜在应用领域包括教育、游戏设计和复杂系统建模等。通过提供一个可靠的评估框架，研究者和开发者可以更好地理解和改进大语言模型在组合推理方面的能力，从而推动相关技术的进步和应用。
📄 摘要（原文）
We present CombEval, a dynamic benchmark for evaluating combinatorial counting in large language models. CombEval represents each problem as a typed Cofola specification over entities, combinatorial objects, object dependencies, and constraints, enabling controlled generation of natural-language counting problems with exact solver-verified answers. Unlike static collections, CombEval supports systematic variation of object type, entity scale, constraint count, and reasoning depth. We evaluate 11 LLMs under direct and code-augmented settings and find that models remain brittle on ordered objects, indistinguishable elements, relatively positional constraints, and nested object dependencies. Error analysis further identifies failures in constraint interpretation and counting principles. CombEval provides a diagnostic testbed for studying when and why LLMs fail at combinatorial reasoning. The code and generated benchmark suites are publicly available at \url{https://github.com/YuxuZhou-CN/combination-problem-generation}.