ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions

📄 arXiv: 2606.17905v1 📥 PDF

作者: Peixian Zhou, Yuxu Chen, Chaorui Zhang, Wei Han, Bo Bai, Xueyan Niu

分类: cs.CL

发布日期: 2026-06-16

💡 一句话要点

提出ChLogic基准以评估中文表达中的逻辑推理鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 逻辑推理 多语言处理 英汉对齐 模型鲁棒性 自然语言处理 回译 数据集构建

📋 核心要点

  1. 现有大型语言模型在逻辑推理方面的能力在英语之外的表现尚不明确，尤其是在中文表达中存在挑战。
  2. 论文提出ChLogic基准，通过英汉对齐的方式测试模型在不同语言表述下的逻辑推理能力，旨在评估其鲁棒性。
  3. 实验结果表明，模型在英汉之间存在显著的性能差距，回译对一般集有提升，但对困难集的效果不一，揭示了多语言推理的复杂性。

📝 摘要（中文）

大型语言模型在标准化逻辑推理基准上表现越来越好，但其能力在英语之外的鲁棒性尚不明确。我们提出ChLogic，这是一个英汉对齐的基准，测试模型在不同中文表述下是否保持逻辑推理性能。基准由正式逻辑模板构建，包含三个数据集：一般对齐集、困难对齐集和仅中文集。实验结果显示，模型在英汉之间存在持续的性能差距，回译对一般对齐集的性能有改善，但对困难对齐集的影响则不一。总体而言，ChLogic为多语言推理的鲁棒性提供了有效的压力测试。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在中文逻辑推理中的鲁棒性问题。现有方法在不同语言表述下的性能差异尚未得到充分研究，尤其是在中文环境中。

核心思路：论文的核心思路是构建一个英汉对齐的基准ChLogic，以测试模型在不同语言表述下的逻辑推理能力，特别关注中文的多样性和复杂性。

技术框架：整体架构包括三个主要数据集：一般对齐集、困难对齐集和仅中文集。每个对齐项将一个英语参考表达与五个中文表述配对，确保覆盖多种语言现象。

关键创新：ChLogic的主要创新在于其基于正式逻辑模板的构建方式，能够有效评估模型在多语言环境中的逻辑推理能力，与现有方法相比，提供了更全面的测试框架。

关键设计：在实验中，使用了Qwen3、Ministral和GLM模型，并对回译过程进行了分析。关键参数设置和损失函数设计旨在优化模型在不同数据集上的表现，尤其是在困难对齐集中的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Qwen3和GLM模型在一般对齐集上表现有所提升，回译后性能提高幅度明显。然而，在困难对齐集上，Qwen3-32B和GLM-5.1的表现反而下降，揭示了翻译过程中的复杂性和模型特异性行为的影响。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理、跨语言逻辑推理系统以及教育领域的语言学习工具。通过评估模型在不同语言中的逻辑推理能力，ChLogic能够帮助开发更鲁棒的多语言AI系统，提升其在实际应用中的可靠性和准确性。

📄 摘要（原文）

Large language models perform increasingly well on standardized logical reasoning benchmarks, but whether this ability remains robust beyond English is unclear. We introduce ChLogic, an English--Chinese aligned benchmark that tests whether models preserve logical reasoning performance when the same latent logical structure is expressed in English and diverse Chinese surface realizations. Built from formal logical templates, the benchmark contains three data sets: (i) the General aligned set, derived from 60 General Propositions across nine template families; (ii) the Difficult aligned set, derived from 40 Difficult Problems; and (iii) the Chinese-only set, covering 15 language-specific phenomenon types. Each aligned item pairs one English reference expression with five Chinese realizations. Experiments on Qwen3, Ministral, and GLM models reveal a persistent English--Chinese performance gap. Back-translation from standard Chinese into English often improves performance on the General aligned set, but produces mixed effects on the Difficult aligned set, where Qwen3-32B and GLM-5.1 perform worse after translation. These results indicate that Chinese surface realization, translation artifacts, and model-specific behavior jointly affect multilingual logical reasoning. Overall, ChLogic provides a useful stress test for the robustness of multilingual reasoning.