Lost in Reordering: Structural Sensitivity of Multilingual LLMs under Semantics-Preserving Perturbations

📄 arXiv: 2609.03511v1 📥 PDF

作者: Karthika Nhayakkat, Rajat Verma, Maharaj Brahma, Vetcha Gnana Mahesh, Maunendra Sankar Desarkar, Ganesh Ramakrishnan, Rohit Saluja

分类: cs.CL

发布日期: 2026-09-03

备注: Accepted at EMNLP 2026 (Findings - Long paper)

💡 一句话要点

研究多语言LLM在语义保持扰动下的结构敏感性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 结构敏感性 语义保持 推理性能 数据集构建 语言学扰动 模型评估

📋 核心要点

  1. 当前多语言LLMs在面对语义保持的结构变化时表现出较低的鲁棒性，尤其是在自由词序的语言中。
  2. 本文提出了通过引入结构扰动设置来评估多语言LLMs的敏感性，并构建了新的基准数据集IndicReStruct。
  3. 实验结果显示，在结构扰动的输入下，LLMs的数学推理性能显著下降，且中间层对推理恢复起到关键作用。

📝 摘要（中文）

大型语言模型（LLMs）在多语言推理性能上表现出色，但其对语义保持的结构变化的鲁棒性仍未得到充分探讨，尤其是在相对自由的词序语言中。本文通过对印地语和马拉雅拉姆语的两种语言学基础扰动设置进行研究，探讨多语言LLMs的结构敏感性。我们引入了基准数据集IndicReStruct，包含GSM8K-Reordered和GSM8K-Voice两个变体，旨在保持语义意义。通过对六种最先进的LLMs及多种提示策略的实验，我们观察到在结构扰动输入下，数学推理性能显著下降。进一步的定性错误分析和机制可解释性实验表明，推理失败常常源于实体-数量对齐的中断，而中间变换层对推理恢复的贡献最为显著。总体而言，研究结果表明当前的多语言LLMs对表面句法实现高度敏感，缺乏在结构不同但语义等效输入下的稳健组合不变性。

🔬 方法详解

问题定义：本文旨在解决多语言LLMs在语义保持的结构变化下的鲁棒性不足问题，现有方法未能充分探讨这一挑战。

核心思路：通过引入结构扰动设置，研究多语言LLMs在面对不同句法实现时的敏感性，特别关注印地语和马拉雅拉姆语。

技术框架：整体架构包括数据集构建、扰动设置、模型评估和错误分析四个主要模块。数据集IndicReStruct包含两种变体，分别用于测试不同的结构扰动。

关键创新：引入了基于语言学的扰动设置，构建了新的基准数据集，揭示了多语言LLMs在结构变化下的性能下降，填补了该领域的研究空白。

关键设计：在实验中使用了六种最先进的LLMs，采用多种提示策略，重点分析了中间变换层的激活对推理恢复的影响。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在结构扰动输入下，六种LLMs的数学推理性能普遍下降，具体表现为在GSM8K-Reordered和GSM8K-Voice变体中，推理准确率下降幅度达到20%以上，表明当前模型对句法实现的敏感性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和多语言对话系统等。通过提高多语言LLMs在结构变化下的鲁棒性，可以增强其在实际应用中的可靠性和准确性，推动多语言AI系统的发展。

📄 摘要（原文）

Large Language Models (LLMs) demonstrate strong multilingual reasoning performance, yet their robustness to semantics-preserving structural variation remains underexplored, particularly for relatively free word-order languages. We investigate the structural sensitivity of multilingual LLMs using two linguistically grounded perturbation settings in Hindi and Malayalam: constrained constituent reordering and active-passive voice transformation. We introduce a benchmark dataset IndicReStruct, with two variants, GSM8K-Reordered and GSM8K-Voice, constructed from GSM8K while preserving semantic meaning. Across six state-of-the-art LLMs and multiple prompting strategies, we observe consistent and significant degradation in mathematical reasoning performance under structurally perturbed inputs. To further understand these failures, we perform qualitative error analysis and mechanistic interpretability experiments using residual-stream activation patching. Our analyses show that reasoning failures frequently arise from disruptions in entity-quantity alignment and that intermediate transformer layers contribute most strongly toward reasoning restoration. Overall, our findings suggest that current multilingual LLMs remain highly sensitive to surface syntactic realization and lack robust compositional invariance under structurally different but semantically equivalent inputs.