HYDRA-X: Native Unified Multimodal Models with Holistic Visual Tokenizers
作者: Guozhen Zhang, Xuerui Qiu, Yutao Cui, Tianhui Song, Changlin Li, Junzhe Li, Tao Huang, Xiao Zhang, Yang Li, Jianbing Wu, Miles Yang, Zhao Zhong, Liefeng Bo, Limin Wang
分类: cs.CV, cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出HYDRA-X以解决多模态模型中的图像与视频统一表示问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 视觉变换器 时空重建 语义意识 图像视频标记化 轻量级解压器 编辑一致性 潜在空间
📋 核心要点
- 现有的多模态模型在图像和视频的统一表示方面存在挑战，难以有效处理时空信息。
- HYDRA-X通过在单一视觉变换器中实现图像和视频的统一标记化，解决了时空重建和语义意识的问题。
- 在7B密集模型上，HYDRA-X在图像和视频理解及生成任务中表现出色，显著提高了编辑一致性和收敛速度。
📝 摘要（中文）
整体视觉标记器是统一多模态模型（UMMs）的基础，它将多样的视觉输入映射到统一的表示空间。本文提出HYDRA-X，这是第一个在单一视觉变换器（ViT）中统一图像和视频标记化的UMM。我们的设计主要针对两个核心挑战：有效地将时空重建能力注入原生ViT，以及在潜在空间中嵌入图像和视频级别的语义意识。通过全面的消融实验，我们发现：帧级因果时序注意力足以进行视觉重建，而全时空注意力则会降低效果；分层时序压缩显著优于单步替代方案。此外，我们提出了一种轻量级解压器，在联合图像-视频教师监督下对时序压缩特征进行上采样，从而在紧凑的潜在空间中强制执行互补的语义结构。基于这一整体标记器，我们进一步提出了一种编辑管道的原则性改进：源-目标交互应在标记器内部的潜在层级进行，而非在LLM内部的语义层级，从而显著提高编辑一致性并加速收敛。HYDRA-X在7B密集模型上实现了图像和视频理解及生成任务的强大性能，为未来的统一标记器UMMs铺平了道路。
🔬 方法详解
问题定义：本文旨在解决统一多模态模型中图像与视频的标记化问题，现有方法在时空信息处理和语义意识嵌入方面存在不足。
核心思路：HYDRA-X通过引入整体视觉标记器，将图像和视频的标记化过程统一在一个视觉变换器中，提升了时空重建能力和语义理解。
技术框架：HYDRA-X的整体架构包括时空重建模块和轻量级解压器，前者通过帧级因果时序注意力实现视觉重建，后者在教师监督下进行特征上采样。
关键创新：HYDRA-X的主要创新在于引入了分层时序压缩和潜在层级的源-目标交互机制，这与传统方法在语义层级交互的设计有本质区别。
关键设计：在模型设计中，采用了帧级因果时序注意力和分层时序压缩策略，损失函数通过联合图像-视频教师监督来优化潜在空间的语义结构。
🖼️ 关键图片
📊 实验亮点
HYDRA-X在图像和视频理解及生成任务中表现优异，尤其是在编辑一致性和收敛速度上有显著提升。实验结果显示，相较于基线模型，HYDRA-X在多个任务上实现了性能的显著提升，具体数据尚未披露。
🎯 应用场景
HYDRA-X的研究成果在多模态理解和生成领域具有广泛的应用潜力，包括视频分析、智能监控、内容生成等。其统一的标记化方法能够提升多模态系统的性能，推动相关技术的进步与应用。未来，HYDRA-X有望在更复杂的多模态任务中展现出更强的能力。
📄 摘要（原文）
Holistic visual tokenizers are fundamental to unified multimodal models (UMMs) as they map diverse visual inputs into a unified representation space. In this paper, we present HYDRA-X, the first UMM that unifies image and video tokenization within a single Vision Transformer (ViT). Our design is driven by two core challenges: efficiently injecting spatiotemporal reconstruction capability into a native ViT, and embedding image- and video-level semantic awareness into the latent space. To address the first, comprehensive ablations reveal two key findings: (1) frame-level causal temporal attention suffices for visual reconstruction, whereas full spatiotemporal attention degrades it; and (2) hierarchical temporal compression substantially outperforms single-step alternatives. To tackle the second, we propose a lightweight decompressor that upsamples temporally compressed features under joint image-video teacher supervision, thereby enforcing complementary semantic structures within the compact latent space. Building on this holistic tokenizer, we further propose a principled improvement of the editing pipeline: source-target interaction should occur at the latent level inside the tokenizer rather than at the semantic level inside the LLM, substantially improving editing consistency and accelerating convergence. Instantiated at the 7B dense model, HYDRA-X achieves strong performance across image and video understanding and generation tasks, paving the way for future unified-tokenizer UMMs.