TuringViT: Making SOTA Vision Transformers Accessible to All

📄 arXiv: 2606.24253v1 📥 PDF

作者: Qiman Wu, Hanlin Chen, Lyujie Chen, Rui Xin, Jianlei Zheng, Mingyuan Wang, Jiahui Hu, Da Zhu, Yuecheng Ma, Yuhua Wei, Yizhao Wang, Hua Zhou, Yuheng Zhang, Anhua Liu, Shaman Tang, Yue He, Pengfei Diao, Shuang Su, Haotong Xin, Weichao Huang, Hang Zhang, Xianming Liu

分类: cs.CV

发布日期: 2026-06-23

💡 一句话要点

提出TuringViT以解决视觉变换器训练门槛问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉变换器 动态分辨率 高效训练 多模态学习 图像-视频数据

📋 核心要点

  1. 现有的视觉变换器训练需要大量的图像-文本数据，且标准的softmax注意力机制使得高分辨率预训练成本高昂，难以实现。
  2. TuringViT提出了Turing线性注意力（TLA）、VISTA-Curation和原生动态分辨率预训练等创新设计，以提高训练效率和灵活性。
  3. 实验结果表明，TuringViT在仅使用10%数据的情况下超越了现有基线，并在高分辨率输入下表现出更好的延迟扩展性。

📝 摘要（中文）

现代视觉语言模型（VLMs）和视觉语言编码系统（VLA）通常采用现成的视觉变换器（ViTs）作为视觉编码器，但在延迟、时间建模和VLM集成等多样化下游需求下，定制化的SOTA级ViTs训练仍然超出许多研究者的能力范围。TuringViT通过三项关键设计解决了这些挑战：高效序列建模的Turing线性注意力（TLA）、构建丰富监督的图像-视频训练数据的VISTA-Curation，以及支持灵活输入的原生动态分辨率预训练。结果显示，TuringViT在仅使用10%数据的情况下超越了领先的开源ViT基线，且在高分辨率输入上实现了显著更好的延迟扩展。其快速适应、硬件友好的设计和高效部署使其成为XPeng AI系统的统一视觉基础。

🔬 方法详解

问题定义：论文旨在解决当前视觉变换器（ViTs）训练的高门槛问题，现有方法在数据需求和高分辨率预训练上存在显著不足，限制了其广泛应用。

核心思路：TuringViT通过引入Turing线性注意力（TLA）和动态分辨率预训练，旨在提高训练效率并降低对大规模数据的依赖，使得定制化的SOTA级ViTs更易于访问。

技术框架：整体架构包括三个主要模块：TLA用于高效的序列建模，VISTA-Curation用于构建丰富的训练数据集，以及动态分辨率预训练模块，支持灵活的输入处理。

关键创新：TuringViT的核心创新在于TLA的引入，使得注意力机制在处理长序列时更加高效，同时动态分辨率预训练允许模型从一开始就适应不同分辨率的输入，显著提升了训练灵活性。

关键设计：在设计上，TuringViT采用了优化的损失函数和网络结构，确保在低数据量的情况下仍能实现较高的性能，同时在硬件上也进行了友好的优化，以适应不同的计算平台。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TuringViT在实验中仅使用10%的数据便超越了现有的开源ViT基线，且在高分辨率输入下实现了显著的延迟扩展性。其性能提升表明，TuringViT在数据规模增加时仍能持续改进，显示出良好的可扩展性和适应性。

🎯 应用场景

TuringViT的研究成果在多个领域具有潜在应用价值，包括自动驾驶、智能监控和多媒体内容分析等。其高效的训练和部署能力使得各类AI系统能够更快速地集成先进的视觉理解能力，推动技术的普及与应用。未来，TuringViT可能会成为视觉变换器领域的标准工具，促进更多研究和应用的开展。

📄 摘要（原文）

Modern VLMs and VLA systems commonly adopt off-the-shelf ViTs such as SigLIP2 as visual encoders, but diverse downstream requirements in latency, temporal modeling, and VLM integration often call for customized SOTA-level ViTs. Training such encoders remains beyond the reach of much of the community, as it requires massive image-text data, while standard softmax attention makes high-resolution or dynamic-resolution pretraining prohibitively costly and often forces low-resolution pretraining followed by post-hoc adaptation. TuringViT addresses these challenges with three key designs: Turing Linear Attention (TLA) for efficient sequence modeling, VISTA-Curation to construct supervision-rich image-video training data, and native dynamic-resolution pretraining that supports flexible inputs from the start and transfers seamlessly to downstream VLMs. As a result, TuringViT outperforms leading open-source ViT baselines with only 10% of the data, achieves stronger downstream VLM performance, and delivers substantially better latency scaling on high-resolution inputs. Our scaling-law analysis further shows that TuringViT continues to improve predictably with curated data scale, far from saturation. Its fast adaptation, hardware-friendly design, and efficient deployment have made it a unified visual foundation across XPeng's AI systems. More broadly, TuringViT provides a reproducible pipeline that dramatically lowers the cost for the community to train, customize, and deploy SOTA-level ViTs, moving toward making such Vision Transformers accessible to all.