Benchmarking Chinese Commonsense Reasoning of LLMs: From Chinese-Specifics to Reasoning-Memorization Correlations

📄 arXiv: 2403.14112v3 📥 PDF

作者: Jiaxing Sun, Weiquan Huang, Jiang Wu, Chenya Gu, Wei Li, Songyang Zhang, Hang Yan, Conghui He

分类: cs.CL

发布日期: 2024-03-21 (更新: 2024-12-10)

备注: Equal contribution: Jiaxing Sun, Weiquan Huang, Jiang Wu; Corresponding author: Conghui He

DOI: 10.18653/v1/2024.acl-long.604

🔗 代码/项目: GITHUB

💡 一句话要点

提出CHARM基准以评估中文LLMs的常识推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 中文常识推理 大型语言模型 基准评估 推理能力 记忆任务 提示策略 CHARM

📋 核心要点

  1. 现有的中文LLMs在常识推理能力评估方面缺乏系统性基准，导致研究结果不够全面。
  2. 论文提出CHARM基准，通过结合全球与中国特有的常识，系统评估LLMs的推理与记忆能力。
  3. 实验表明，LLMs在记忆中文常识方面存在差异，影响其推理能力，为后续优化提供了依据。

📝 摘要（中文）

我们介绍了CHARM，这是第一个全面深入评估大型语言模型（LLMs）在中文常识推理能力的基准，涵盖全球已知和中国特有的常识。我们对7个英文和12个中文导向的LLMs进行了评估，采用了5种代表性的提示策略以提升LLMs的推理能力，如思维链。研究发现，LLMs的语言导向和任务领域影响提示策略的有效性，丰富了以往的研究结果。我们构建了紧密相连的推理与记忆任务，发现一些LLMs在记忆中文常识方面存在困难，影响其推理能力，而其他LLMs在记忆表现相似的情况下却显示出推理能力的差异。我们的研究明确识别了LLMs的优势与劣势，为优化提供了清晰方向，也可作为其他领域研究的参考。CHARM将发布于https://github.com/opendatalab/CHARM。

🔬 方法详解

问题定义：本研究旨在解决现有中文LLMs在常识推理能力评估中的不足，特别是缺乏针对中文特有常识的系统性基准。现有方法未能全面考虑语言导向和任务领域对推理能力的影响。

核心思路：CHARM基准通过结合全球常识与中国特有常识，设计了多种提示策略，以提升LLMs的推理能力，特别是在中文环境下的表现。

技术框架：CHARM的整体架构包括常识推理任务和记忆任务两个模块，采用多种提示策略（如思维链）进行评估，确保全面覆盖不同类型的常识。

关键创新：CHARM是首个针对中文LLMs的常识推理基准，创新性地将推理与记忆任务紧密结合，揭示了LLMs在中文常识记忆和推理能力上的差异。

关键设计：在实验中，采用了多种提示策略，并对LLMs的推理能力进行了细致的分析，特别关注了记忆独立推理能力的评估，确保结果的准确性与可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，某些LLMs在记忆中文常识方面表现不佳，影响推理能力，而其他LLMs在相似的记忆表现下推理能力却存在显著差异。通过CHARM基准的评估，研究明确了LLMs的优势与劣势，为后续优化提供了数据支持。

🎯 应用场景

该研究的潜在应用领域包括教育、智能客服和内容生成等，CHARM基准能够帮助开发更具常识推理能力的中文LLMs，从而提升其在实际应用中的表现和用户体验。未来，CHARM也可为其他语言的LLMs评估提供参考框架。

📄 摘要（原文）

We introduce CHARM, the first benchmark for comprehensively and in-depth evaluating the commonsense reasoning ability of large language models (LLMs) in Chinese, which covers both globally known and Chinese-specific commonsense. We evaluated 7 English and 12 Chinese-oriented LLMs on CHARM, employing 5 representative prompt strategies for improving LLMs' reasoning ability, such as Chain-of-Thought. Our findings indicate that the LLM's language orientation and the task's domain influence the effectiveness of the prompt strategy, which enriches previous research findings. We built closely-interconnected reasoning and memorization tasks, and found that some LLMs struggle with memorizing Chinese commonsense, affecting their reasoning ability, while others show differences in reasoning despite similar memorization performance. We also evaluated the LLMs' memorization-independent reasoning abilities and analyzed the typical errors. Our study precisely identified the LLMs' strengths and weaknesses, providing the clear direction for optimization. It can also serve as a reference for studies in other fields. We will release CHARM at https://github.com/opendatalab/CHARM .