Attention is Case-Sensitive
作者: Maximilian Dillitzer, Tin Stribor Sohn, Jason J. Corso, Michael Auerbach
分类: cs.CV, cs.CL, cs.LG
发布日期: 2026-08-04
备注: Accepted at ECCV 2026
💡 一句话要点
提出字母大小写敏感性以优化注意力分配
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 字母大小写 注意力机制 大型语言模型 视觉语言模型 预训练变换器
📋 核心要点
- 现有方法未充分探索字母大小写对注意力分配的影响，导致对大型语言模型的理解不足。
- 论文提出通过字母大小写作为零-shot机制，调节模型的注意力分配，而无需访问或微调模型。
- 实验结果表明，大小写效应在所有评估的非推理模型中普遍存在，但对任务准确性的影响复杂，可能导致准确性下降。
📝 摘要（中文）
在人的视觉感知中，大写字母作为自然的显著性线索，能够在小写文本中吸引注意力。本文系统性地研究了大型语言模型（LLMs）在字母大小写方面的类似特性，发现字母格式化能够调节内部注意力分配。通过对13个模型（包括9个LLMs和4个视觉语言模型VLMs）的分析，我们展示了在小写上下文中使用交替或大写格式的信息能够集中注意力。尽管这种“大小写效应”显著改变了注意力分配，但其对下游任务准确性的影响并不简单，增加的注意力集中并不总是提高任务准确性，且在高熵上下文中可能会降低准确性。此外，我们还发现推理模型中的深思熟虑阶段可以缓解这种排版敏感性。对于VLMs，我们发现该效应部分转移，提示侧的大小写重新组织了跨模态注意力。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在字母大小写方面的注意力分配问题，现有方法未能充分利用这一特性，导致对模型性能的理解不足。
核心思路：通过系统性分析字母大小写对注意力的影响，提出将其作为一种零-shot机制来引导注意力分配，强调其作为潜在特性而非方法论的价值。
技术框架：研究涵盖了13个模型，分为9个大型语言模型和4个视觉语言模型，采用不同的分词方案，分析字母大小写对注意力的调节作用。
关键创新：提出了字母大小写作为注意力引导的机制，揭示了其在预训练变换器中的潜在特性，强调了注意力与任务准确性之间的复杂关系。
关键设计：在实验中，采用了多种模型和上下文设置，重点分析了在高熵上下文中，字母大小写对注意力分配的影响，以及推理模型中的深思熟虑阶段如何缓解排版敏感性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，字母大小写效应在所有评估的非推理模型中普遍存在，尽管注意力集中度显著提高，但在高熵上下文中，任务准确性可能下降。该研究为理解模型内部机制提供了新的基础。
🎯 应用场景
该研究为大型语言模型和视觉语言模型的设计提供了新的视角，潜在应用于文本处理、信息检索和人机交互等领域。通过优化注意力分配，可以提升模型在复杂任务中的表现，未来可能影响自然语言处理和计算机视觉的结合。
📄 摘要（原文）
In human visual perception, uppercase lettering serves as a natural salience cue that captures attention within lowercase text. In this paper, we present a systematic empirical characterization study revealing that Large Language Models (LLMs) exhibit an analogous property: letter casing modulates internal attention allocation. Through analysis across 13 models, nine LLMs and four Vision-Language Models (VLMs), with diverse tokenization schemes, we show that formatting target information in alternating or uppercase against a lowercase context concentrates attention on those textual spans. In text this effect is universal, holding across every evaluated non-reasoning model. We frame it as a previously under-explored latent property of pretrained transformers rather than a prescriptive method. Our investigation reveals a central attention-performance divergence: while this "casing effect" robustly shifts attention, its impact on downstream accuracy is non-trivial, increased concentration does not inherently improve task accuracy and, in high-entropy contexts like alternating case, can degrade it. We further identify a boundary condition: the deliberative "thinking" phase in reasoning models acts as a semantic buffer that mitigates typographic sensitivity in text. Extending the study to VLMs, we find the effect transfers partially: the same prompt-side casing reorganizes cross-modal attention along two coupled axes, predominantly a macroscopic disengagement from the image toward the text prompt, and secondarily a concentration of the residual visual attention on the target region. By isolating casing as a zero-shot mechanism for attention steering that requires no model access or fine-tuning, we provide a new foundational understanding of how pretraining internalizes typographic emphasis.