Sensitivity, Causality, and Repair Dissociate: A Layer-Wise Analysis of Perturbation Robustness and Its Scaling
作者: Nathan Labiosa, David Buff, Ena Nayak, Erica Donno
分类: cs.CL, cs.LG
发布日期: 2026-08-04
备注: 29 pages, 18 figures, 11 tables
💡 一句话要点
提出层级分析方法以解决语言模型对扰动输入的鲁棒性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 鲁棒性 层级分析 适配器设计 因果性 敏感性 噪声处理
📋 核心要点
- 现有语言模型在面对拼写错误和噪声输入时表现不佳，缺乏对不同层级的鲁棒性分析。
- 本文提出通过层级分析敏感性、因果性和补偿能力，揭示其之间的差异及其对模型鲁棒性的影响。
- 实验结果表明，在特定模型中，敏感性与因果性呈负相关，并提供了适配器放置的实用建议。
📝 摘要（中文）
当语言模型在表面扰动输入（如拼写错误、OCR噪声、同音词）上失败时，本文探讨了三个层级的操作化：敏感性、因果性和补偿能力，并展示了这三者的层级图谱之间的差异。通过对五个模型的分析，识别出两种传播机制，并发现敏感性与因果性在特定模型上呈负相关。研究还提出了级联干扰作为导致这种差异的机制，并提供了实用的适配器放置建议，尽管相较于无适配器基线，绝对增益仍然较小。
🔬 方法详解
问题定义：本文旨在解决语言模型在表面扰动输入下的鲁棒性问题，现有方法未能有效区分模型各层对鲁棒性的贡献。
核心思路：通过层级分析敏感性、因果性和补偿能力，揭示这些因素如何影响模型在扰动输入下的表现，提出级联干扰作为主要机制。
技术框架：研究采用了五个不同的语言模型，分析其在扰动输入下的表现，识别出两种传播机制，并通过固定层级的适配器放置实验验证核心假设。
关键创新：提出了敏感性与因果性之间的反相关性，并通过级联干扰机制解释了这一现象，提供了新的视角来理解模型的鲁棒性。
关键设计：在实验中，采用了固定层级的适配器放置策略，并通过层级分析确定了最具影响力的层级，尽管绝对增益较小，但为未来的模型设计提供了指导。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在特定模型中，敏感性与因果性呈负相关（rho = -0.72至-0.88），并且在适配器放置实验中，标记的层级在所有模型中都是最具破坏性的适配器窗口，验证了核心假设。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和语音识别等，能够帮助提升模型在实际应用中的鲁棒性，尤其是在处理噪声和不规范输入时。未来，研究成果可为模型设计和优化提供理论基础，推动更智能的语言理解系统的发展。
📄 摘要（原文）
When a language model fails on surface-perturbed input (typos, OCR noise, homophones), "which layer is responsible" has three natural operationalizations: where representations diverge most (sensitivity), where restoring clean activations recovers the prediction (causality), and where a small adapter can repair the damage (compensatory capacity) - and we show these three layer maps dissociate. Across a five-model panel we identify two propagation regimes - spike-and-suppress (Phi-3.5, Gemma-2-9B) and late-accumulation (Llama-3, Mistral, Qwen2.5-7B) - and on the two models meeting an 80% identity-patch gate, sensitivity and causality are anti-correlated (rho = -0.72 to -0.88). Within-family scaling on Qwen2.5 (1.5B to 14B) shows the late-accumulation signature strengthening monotonically with scale, corroborated on a second family. We propose cascade disruption as the mechanism behind the dissociation: adapters placed at causally implicated early layers break intact downstream computation, making diagnostic-flagged sites the worst adapter placements. A fixed-harness layer sweep across four models (3.8-8B) confirms the core prediction on chain-of-thought GSM8K - the flagged sites are the most damaging adapter windows on every adjudicable model - and is sign-consistent but strongly attenuated on a multiple-choice control, consistent with damage that compounds with generation length. The sweep yields practical guidance: a training-free LRD pre-screen and a default-deepest placement rule, though absolute gains over no-adapter baselines remain small. Finally, apparent gains from a representation-stability loss reverse under an adequate generation budget - truncated chain-of-thought had been scored as empty - a methodological warning for any intervention evaluated on chain-of-thought tasks.