SpiralFovea: Input-Adaptive Foveated Tokenization as a Third Lever of Resource-Adaptive Inference

📄 arXiv: 2607.00780 📥 PDF

作者: Kyan Mahajan, Mohammad Saqlain

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出SpiralFovea以实现输入自适应的视觉令牌化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自适应推理 视觉令牌化 计算机视觉 深度学习 模型优化

📋 核心要点

  1. 现有的自适应推理技术未能有效利用输入令牌化，导致固定网格令牌化无法适应图像内容。
  2. 提出SpiralFovea作为一种无参数的输入自适应令牌化方法，令牌的特性与局部视觉熵相关联，增强了模型的灵活性。
  3. 在四个细粒度基准测试中，SpiralFovea在减少输入令牌的同时显著提升了模型的准确性和效率。

📝 摘要（中文）

大多数基础模型的自适应推理技术通过改变模型的行为来实现，如早期退出、MoE路由、KV缓存压缩和动态注意力稀疏。然而，输入到主干网络的令牌化仍然是固定网格，未考虑图像内容。本文提出SpiralFovea，一种无参数的输入自适应令牌化方法，令牌的身份、位置、尺度和数量均基于局部视觉熵。通过内容驱动的热点锚点，生成多尺度螺旋环，替代标准的196个令牌网格。实验表明，SpiralFovea在四个细粒度基准上实现了1.7-2.1个百分点的准确率提升，同时输入令牌减少60%，自注意力FLOPs减少84%，吞吐量提升18-29%。

🔬 方法详解

问题定义：本文旨在解决现有自适应推理技术中输入令牌化固定网格的问题，导致模型未能充分利用图像内容的多样性。

核心思路：SpiralFovea通过引入输入自适应的令牌化机制，使得令牌的身份、位置、尺度和数量能够根据局部视觉熵动态调整，从而提升模型的表现。

技术框架：该方法围绕内容驱动的热点锚点生成多尺度的螺旋环，形成不超过78个补丁，替代传统的196个补丁的ViT网格，整个过程在查询主干参数之前完成。

关键创新：SpiralFovea的主要创新在于其无参数的输入自适应令牌化设计，使得令牌化过程能够根据图像内容进行调整，这与传统的固定网格方法形成鲜明对比。

关键设计：在设计中，令牌的数量和分布是基于局部视觉熵计算的，确保了在不同内容下的灵活性和有效性，同时减少了计算资源的消耗。该方法在每个变换器层中都实现了自注意力FLOPs的显著减少。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SpiralFovea在四个细粒度基准上实现了1.7-2.1个百分点的准确率提升，同时输入令牌减少60%，自注意力FLOPs减少84%，吞吐量提升18-29%，显著优于静态令牌化基线。

🎯 应用场景

SpiralFovea的研究成果在计算机视觉领域具有广泛的应用潜力，特别是在图像分类、目标检测和图像生成等任务中。通过提高模型的自适应能力，该方法能够在资源受限的环境中实现更高的效率和准确性，未来可能推动更智能的视觉系统的发展。

📄 摘要（原文）

Most adaptive-inference techniques for foundation models change what the model does - early exit, MoE routing, KV-cache compression, dynamic attention sparsity. The input that hits the backbone, however, remains a fixed-grid tokenisation indifferent to image content. We argue that this is a missed lever. We present SpiralFovea, a parameter-free, input-adaptive tokeniser in which token identity, location, scale, and count are all functions of local visual entropy and selection completes before any backbone parameter is queried. Around content-driven hotspot anchors, multi-scale spiral rings produce <= 78 patches that replace the standard 196-patch ViT grid at the input stage. Across four canonical fine-grained benchmarks, SpiralFovea yields +1.7-2.1 pp accuracy with a 60% reduction in input tokens, an 84% reduction in self-attention FLOPs at every transformer layer, and 18-29% throughput gains over the matched static tokenisation baseline. A controlled ablation on CUB-200-2011 Genus across four backbones reveals a clean diagnostic: the gain magnitude tracks inversely with the strength of the backbone's whole-image positional prior, isolating self-supervised foundation models as the regime where input-adaptive tokenisation is most valuable.