Successive Capacity Growth: Task-Complexity-Driven Width and Depth Expansion for Vision Transformer Encoders in JEPA World Models

📄 arXiv: 2608.27367v1 📥 PDF

作者: Frederik Berenz

分类: cs.CV, cs.AI

发布日期: 2026-08-27

备注: 12 pages, 2 figures, 6 tables

💡 一句话要点

提出逐步容量增长方法以优化视觉变换器编码器的任务适应性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉变换器 逐步容量增长 任务适应性 联合嵌入预测架构 高效编码器 动态扩展 多物体动态任务 自适应系统

📋 核心要点

  1. 现有的JEPA世界模型编码器通常采用固定大小的视觉变换器，导致在简单任务中资源浪费，而在复杂任务中能力不足。
  2. 本文提出逐步容量增长（SCG）方法，通过任务驱动的机制动态扩展编码器的宽度和深度，以适应不同复杂度的任务需求。
  3. 在实验中，SCG在多物体动态任务中实现了20.3%的损失降低，并在2D导航任务中通过单次宽度扩展获得23%的性能提升。

📝 摘要（中文）

联合嵌入预测架构（JEPA）用于世界建模时，通常采用固定大小的视觉变换器编码器，这在简单任务中存在过度配置，而在复杂任务中则存在不足配置的问题，且注意力头之间存在显著冗余。本文提出逐步容量增长（SCG）方法，从最小编码器（1个头，2层，283K参数）开始，依据任务驱动逐步扩展宽度（增加低级语义能力的注意力头）或深度（增加高阶语义抽象的变换器块），通过任务无关的测试与验证机制，利用保持功能的扩展安全地试验架构变更，并在未改善预测损失时回滚。所提出的草图各向同性高斯正则化器（SIGReg）确保所有学习的语义维度在统计上独立并与预测目标对齐，防止在架构增长时的崩溃。在60维多物体动态任务中，SCG自然触发深度扩展，相比固定小基线提高预测损失20.3%，且在参数效率上比固定大模型高出56倍；在2D导航任务中，单次宽度扩展相较固定大模型提升23%。在所有三个测试环境中，适应性编码器的表现均与固定小基线相当或更优，且没有出现假阳性扩展，功能保持比率为1.0，绝对差异为0.0。

🔬 方法详解

问题定义：本文旨在解决JEPA世界模型编码器在任务复杂性变化时的固定配置问题，导致资源浪费和性能不足。现有方法未能有效适应不同复杂度的任务需求。

核心思路：提出逐步容量增长（SCG）方法，从最小编码器开始，依据任务复杂性动态调整编码器的宽度和深度，确保在不损失性能的情况下进行架构扩展。

技术框架：SCG方法包括三个主要模块：最小编码器初始化、任务驱动的扩展机制和功能保持的验证机制。通过逐步增加注意力头和变换器块，适应任务的复杂性。

关键创新：SCG的核心创新在于任务无关的测试与验证机制，能够安全地试验架构变更并在未改善预测损失时回滚，确保功能保持。

关键设计：采用草图各向同性高斯正则化器（SIGReg）来确保学习的语义维度独立且与预测目标对齐，防止架构扩展时的崩溃，同时在参数设置上保持高效性。实验中使用的损失函数和网络结构经过精心设计，以优化性能和资源利用。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SCG方法在60维多物体动态任务中实现了20.3%的预测损失降低，相比固定小基线具有56倍的参数效率；在2D导航任务中，单次宽度扩展带来了23%的性能提升，展示了其在不同复杂度任务中的优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、智能监控等需要动态适应复杂环境的任务。通过逐步扩展编码器的能力，可以在资源有限的情况下实现高效的任务执行，未来可能推动更智能的自适应系统的发展。

📄 摘要（原文）

Joint-Embedding Predictive Architectures (JEPAs) for world modeling typically employ fixed-size Vision Transformer encoders that are over-provisioned for simple tasks and under-provisioned for complex ones, with significant redundancy across attention heads. We propose Successive Capacity Growth (SCG), a method that starts from a minimal encoder (1 head, 2 layers, 283K parameters) and grows incrementally in width (adding attention heads for low-level semantic capacity) or depth (adding transformer blocks for higher-order semantic abstraction), driven by a task-agnostic test-and-verify mechanism that exploits function-preserving expansion to safely trial architectural changes and roll back if they do not improve prediction loss. The Sketched Isotropic Gaussian Regularizer (SIGReg) ensures that all learned semantic dimensions remain statistically independent and aligned with the predictive objective, preventing collapse even as the architecture grows. On a 60-dimensional multi-object dynamics task, SCG naturally triggers depth expansion, improving prediction loss by 20.3% over the fixed small baseline with 56 times greater parameter efficiency than scaling to the fixed large model; on a 2D navigation task, a single width expansion yields even an 23% improvement over the fixed large model. Across all three tested environments of increasing complexity, the adaptive encoder matches or exceeds the fixed small baseline, with zero false-positive expansions and bit-exact function preservation (ratio = 1.0, absolute difference = 0.0). The take-away is that JEPA world model encoders need not be pre-allocated at maximum capacity - they can grow successively as the task demands, achieving significant compute and data efficiency while maintaining representation quality.