SpiralFovea: Input-Adaptive Foveated Tokenization as a Third Lever of Resource-Adaptive Inference

📄 arXiv: 2607.00780v1 📥 PDF

作者: Kyan Mahajan, Mohammad Saqlain

分类: cs.CV

发布日期: 2026-07-01

💡 一句话要点

提出SpiralFovea以解决固定网格输入适应性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自适应推理 输入标记化 计算机视觉 视觉熵 基础模型

📋 核心要点

  1. 现有的自适应推理技术主要通过改变模型行为来优化，但输入标记化仍然是固定的，未能适应图像内容。
  2. SpiralFovea提出了一种无参数的输入自适应标记化方法，基于局部视觉熵动态调整标记的身份、位置和数量。
  3. 实验结果表明，SpiralFovea在多个基准测试中显著提高了准确率，并大幅减少了输入标记和计算复杂度。

📝 摘要（中文）

大多数基础模型的自适应推理技术通过改变模型的行为来实现，如提前退出、MoE路由、KV缓存压缩和动态注意力稀疏等。然而，输入到主干网络的固定网格标记化对图像内容并不敏感。本文提出SpiralFovea，一种无参数的输入自适应标记化方法，其标记的身份、位置、尺度和数量均为局部视觉熵的函数，且在查询任何主干参数之前完成选择。通过围绕内容驱动的热点锚点，生成多尺度螺旋环，产生不超过78个补丁，替代标准的196补丁ViT网格。在四个经典的细粒度基准测试中，SpiralFovea实现了+1.7-2.1个百分点的准确率提升，同时输入标记减少60%，每个变换层的自注意力FLOPs减少84%，并且在与静态标记化基线匹配的情况下，吞吐量提升18-29%。

🔬 方法详解

问题定义：本文旨在解决基础模型在推理过程中输入标记化固定网格对图像内容不敏感的问题。现有方法未能充分利用输入的视觉信息，导致资源利用效率低下。

核心思路：SpiralFovea通过无参数的输入自适应标记化，依据局部视觉熵动态调整标记的身份、位置、尺度和数量，从而提高模型的推理效率和准确性。

技术框架：该方法围绕内容驱动的热点锚点生成多尺度的螺旋环，形成不超过78个补丁，替代传统的196补丁ViT网格。整个过程在查询主干参数之前完成，确保了高效性。

关键创新：SpiralFovea的核心创新在于其输入自适应标记化机制，能够根据图像内容动态调整输入补丁的配置，显著提升了模型的适应性和性能。与传统方法相比，该方法更好地利用了视觉信息。

关键设计：该方法不依赖于额外的参数设置，利用局部视觉熵作为标记选择的依据，确保了在不同图像内容下的灵活性和高效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SpiralFovea在四个细粒度基准测试中实现了+1.7-2.1个百分点的准确率提升，同时输入标记减少60%，自注意力FLOPs减少84%，吞吐量提升18-29%，展现了其在资源利用和性能提升方面的显著优势。

🎯 应用场景

SpiralFovea的研究成果在计算机视觉领域具有广泛的应用潜力，尤其是在图像分类、目标检测和图像生成等任务中。通过提高输入标记的适应性，该方法能够显著提升模型的推理效率和准确性，推动基础模型在实际应用中的落地与发展。

📄 摘要（原文）

Most adaptive-inference techniques for foundation models change what the model does - early exit, MoE routing, KV-cache compression, dynamic attention sparsity. The input that hits the backbone, however, remains a fixed-grid tokenisation indifferent to image content. We argue that this is a missed lever. We present SpiralFovea, a parameter-free, input-adaptive tokeniser in which token identity, location, scale, and count are all functions of local visual entropy and selection completes before any backbone parameter is queried. Around content-driven hotspot anchors, multi-scale spiral rings produce <= 78 patches that replace the standard 196-patch ViT grid at the input stage. Across four canonical fine-grained benchmarks, SpiralFovea yields +1.7-2.1 pp accuracy with a 60% reduction in input tokens, an 84% reduction in self-attention FLOPs at every transformer layer, and 18-29% throughput gains over the matched static tokenisation baseline. A controlled ablation on CUB-200-2011 Genus across four backbones reveals a clean diagnostic: the gain magnitude tracks inversely with the strength of the backbone's whole-image positional prior, isolating self-supervised foundation models as the regime where input-adaptive tokenisation is most valuable.