ITLC at SemEval-2026 Task 11: Normalization and Deterministic Parsing for Formal Reasoning in LLMs

📄 arXiv: 2603.02676v1 📥 PDF

作者: Wicaksono Leksono Muhamad, Joanito Agili Lopo, Tack Hwa Wong, Muhammad Ravi Shulthan Habibi, Samuel Cahyawijaya

分类: cs.CL, cs.AI

发布日期: 2026-03-03

💡 一句话要点

提出基于规范化和确定性解析的推理方法，提升LLM在形式推理任务中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 形式推理 大型语言模型 内容效应 确定性解析 逻辑表示

📋 核心要点

  1. 现有LLM在多语言推理任务中易受内容影响，导致性能下降。
  2. 论文提出将三段论转换为规范逻辑表示，并使用确定性解析判断有效性。
  3. 实验表明，该方法在多语言推理基准上表现出色，并降低了内容效应。

📝 摘要（中文）

大型语言模型在推理任务中容易受到内容效应的影响，尤其是在多语言环境中。本文提出了一种新颖的方法，通过显式的结构抽象来减少这些偏差，该方法将三段论转换为规范的逻辑表示，并应用确定性解析来确定其有效性。在SemEval-2026 Task 11多语言基准测试中，我们的方法在所有子任务中均取得了前五名的排名，同时显著降低了内容效应，并为复杂的微调或激活层干预提供了一种有竞争力的替代方案。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在形式推理任务中，特别是多语言环境下，容易受到内容效应影响的问题。现有的方法，如微调或激活层干预，计算成本高昂且复杂。因此，需要一种更有效、更简洁的方法来减少这种偏差，提高LLM的推理能力。

核心思路：论文的核心思路是通过显式的结构抽象，将自然语言表示的三段论转换为规范的逻辑表示。这种规范化过程旨在消除内容上的差异，突出逻辑结构，从而减少内容效应的影响。然后，利用确定性解析来判断逻辑结构的有效性，从而实现推理。

技术框架：该方法主要包含两个阶段：规范化和确定性解析。首先，将输入的三段论转换为规范的逻辑表示，例如一阶逻辑。这一步涉及识别三段论中的前提和结论，并将它们映射到相应的逻辑表达式。然后，使用确定性解析器来验证逻辑表达式的有效性。如果解析成功，则表示三段论有效；否则，表示三段论无效。

关键创新：该方法最重要的创新点在于将形式推理问题转化为一个结构化的解析问题。通过将自然语言表示的三段论转换为规范的逻辑表示，并使用确定性解析器进行验证，该方法能够有效地消除内容效应的影响，提高LLM的推理能力。与传统的微调或激活层干预方法相比，该方法更加简洁、高效。

关键设计：论文中关键的设计包括规范化逻辑表示的具体形式，以及确定性解析器的选择和配置。具体的逻辑表示形式需要能够准确地捕捉三段论的逻辑结构，同时易于解析。确定性解析器的选择需要考虑到其解析效率和准确性。此外，论文可能还涉及一些参数设置，例如逻辑连接词的表示方式等。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该方法在SemEval-2026 Task 11多语言基准测试中取得了显著成果，在所有子任务中均排名前五。实验结果表明，该方法能够有效地降低内容效应，并为复杂的微调或激活层干预提供了一种有竞争力的替代方案。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

该研究成果可应用于提升LLM在逻辑推理、知识图谱推理、智能问答等领域的性能。通过减少内容效应，该方法能够提高LLM在多语言环境下的推理能力，使其在跨文化交流和全球化应用中发挥更大的作用。此外，该方法还可以作为一种通用的推理框架，应用于其他类型的推理任务。

📄 摘要（原文）

Large language models suffer from content effects in reasoning tasks, particularly in multi-lingual contexts. We introduce a novel method that reduces these biases through explicit structural abstraction that transforms syllogisms into canonical logical representations and applies deterministic parsing to determine validity. Evaluated on the SemEval-2026 Task 11 multilingual benchmark, our approach achieves top-5 rankings across all subtasks while substantially reducing content effects and offering a competitive alternative to complex fine-tuning or activation-level interventions.