Beyond Surface Forms: Symbolic Edits as a Test for Logical Reasoning with LLMs
作者: Ramya Keerthy Thatikonda, Wray Buntine, Ehsan Shareghi
分类: cs.CL, cs.AI
发布日期: 2026-08-31
备注: Accepted to Findings of EMNLP 2026
💡 一句话要点
提出符号编辑框架以评估LLMs的逻辑推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 逻辑推理 大规模语言模型 符号编辑 自然语言处理 模型评估
📋 核心要点
- 现有的LLMs在逻辑推理中表现出对表面变化的敏感性，导致推理结果的不可靠性。
- 本文提出了一种基于符号表示的编辑框架，能够系统性地修改逻辑问题的结构组件。
- 实验结果显示，LLMs在受控编辑下的推理行为不一致，未能稳定跟踪逻辑后果。
📝 摘要（中文）
大规模语言模型（LLMs）的逻辑推理能力至关重要，因为它反映了系统从给定上下文中正确推导假设的能力。然而，LLMs的推理往往对问题表述的微小变化敏感，质疑模型是否真正遵循潜在的逻辑结构。本文提出了一种工具驱动的框架，用于生成对逻辑推理问题的可控、标签保留的编辑。该方法基于一阶逻辑和约束满足问题的符号表示，能够在将其翻译回自然语言之前，针对逻辑运算符和其他结构组件进行有针对性的修改。通过该框架，我们评估了多种LLMs在累积和单个运算符编辑下的表现，并分析了它们对这些变化的反应。定量和定性分析表明，LLMs在受控运算符编辑下的推理行为不一致，无论模型的大小或类型如何。
🔬 方法详解
问题定义：本文旨在解决LLMs在逻辑推理中对表面变化敏感的问题，现有方法难以系统性地操控逻辑问题的符号成分。
核心思路：通过引入工具驱动的框架，生成可控的逻辑推理问题编辑，确保在修改后仍保留原有标签。
技术框架：该框架包括符号表示的生成、逻辑运算符的修改、以及将修改后的符号表示翻译回自然语言的过程。
关键创新：最重要的创新在于能够系统性地对逻辑问题进行符号编辑，从而评估LLMs的推理能力，而不仅仅依赖于自然语言的表述。
关键设计：框架中涉及的关键设计包括符号表示的选择、编辑操作的定义，以及如何确保修改后的问题仍然符合逻辑结构。具体的参数设置和损失函数设计在论文中进行了详细讨论。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLMs在受控运算符编辑下的推理行为存在显著的不一致性，模型在某些情况下能够适应结构变化，但常常未能跟踪逻辑后果。这一发现为评估语言模型的可靠性提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括教育、法律推理和自动化决策等，需要高可靠性的逻辑推理能力。通过评估LLMs的推理能力，可以为未来的模型设计提供指导，提升其在复杂推理任务中的表现。
📄 摘要（原文）
Logical reasoning with large language models (LLMs) is a critical capability, as it reflects a system's ability to correctly deduce hypotheses from a given context using faithful deductive processes. However, LLM reasoning has often been shown to be sensitive to small surface-level variations in problem formulation, raising questions about whether models truly follow the underlying logical structure. Studying this behavior is challenging because the symbolic components of logical problems, such as operators and predicates, are difficult to systematically manipulate in natural language. We introduce a tool-driven framework for generating controlled, label-preserving edits to logical reasoning problems. Our method operates on symbolic representations of first-order logic and constraint satisfaction problem tasks, enabling targeted modifications to logical operators and other structural components before translating them back into natural language. Using this framework, we evaluate various LLMs under cumulative and individual operator edits and analyze their behavior in response to these changes. Our quantitative and qualitative analyses show that LLM reasoning behavior under controlled operator edits is inconsistent, regardless of model size or family: models sometimes adapt correctly to structural changes but often fail to track their logical consequences. The results from this automated stress test enable an evaluation of language models across different dimensions and help measure the reliability of their reasoning.