Same Semantics, Different Paths: Self-Improving Alignment for Vision-Text Compression

📄 arXiv: 2608.02109v1 📥 PDF

作者: Tianyu Liang, Xiangxi Zheng, Yilin Wang, Dongxing Mao

分类: cs.CV

发布日期: 2026-08-03

备注: Accepted to ACM Multimedia 2026 (Oral)

💡 一句话要点

提出SPIRAL框架以解决视觉文本压缩中的路径不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉文本压缩 自监督学习 路径对齐 多模态学习 模型蒸馏 性能提升

📋 核心要点

  1. 现有的视觉文本压缩方法在将文本渲染为图像时，存在视觉属性与语言语义之间的路径不一致问题，影响了模型性能。
  2. 本文提出SPIRAL框架，通过自监督学习利用模型自身的文本路径行为进行对齐，解决了路径不一致的问题。
  3. 实验结果表明，SPIRAL显著提升了模型性能，Qwen3-VL-8B的得分从35.10提高到54.02，接近原生文本输入的表现。

📝 摘要（中文）

视觉文本压缩（VTC）将长文本渲染为图像并通过视觉编码器（ViT）进行编码，但由于ViT主要在自然图像上进行预训练，导致其捕捉到的视觉属性（如字形、字体大小、布局）与语言语义存在偏差。本文提出SPIRAL（自我改进路径集成与重对齐）框架，通过模型自身的文本路径行为进行自监督对齐，解决了这一问题。SPIRAL在两个互补粒度上操作：基于策略的蒸馏（OPD）用于局部一致性，序列偏好优化（DPO）用于全局一致性。在VTCBench上，SPIRAL将Qwen3-VL-8B的整体得分从35.10提升至54.02，接近原生文本输入性能（55.60），并超越了多达30倍的模型。

🔬 方法详解

问题定义：本文旨在解决视觉文本压缩（VTC）中渲染图像与原生文本表示之间的路径不一致问题。现有方法主要依赖于视觉编码器（ViT），但由于其在自然图像上的预训练，导致其捕捉到的视觉特征与语言语义存在偏差，形成了一个关键的瓶颈。

核心思路：SPIRAL框架通过自我监督学习，利用模型自身的文本路径行为作为监督信号，进行对齐。该方法不需要外部教师或额外标注，旨在缩小渲染图像表示与原生文本表示之间的差距。

技术框架：SPIRAL框架包括两个主要模块：基于策略的蒸馏（OPD）和序列偏好优化（DPO）。OPD在局部粒度上进行对齐，确保每个token的表示与文本一致；而DPO在全局粒度上优化序列的整体一致性。

关键创新：SPIRAL的核心创新在于其自监督对齐机制，利用模型自身的行为进行路径整合与重对齐，显著提高了VTC的性能。与传统方法相比，SPIRAL在不依赖外部数据的情况下实现了有效的对齐。

关键设计：在设计上，SPIRAL采用了两种互补的学习策略，OPD强调样本效率和检索能力，而DPO则在推理和记忆方面表现更强，且在数据扩展时具有更好的可扩展性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPIRAL框架在VTCBench上的实验结果显示，Qwen3-VL-8B的整体得分从35.10提升至54.02，接近原生文本输入的性能（55.60），并且在模型规模上超越了多达30倍的其他模型，展现了其显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括文本到图像生成、视觉问答和多模态学习等。通过提高视觉文本压缩的性能，SPIRAL框架能够在实际应用中更好地处理长文本信息，提升用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Text Compression (VTC) renders long texts into images and encodes them through the vision encoder (ViT), compressing thousands of text tokens into far fewer visual tokens. However, since the ViT is pretrained predominantly on natural images, it captures visual attributes (glyphs, font sizes, layout) rather than linguistic semantics, causing rendered-image representations to diverge from native-text representations. We term this cross-path inconsistency and show, via rendering perturbation experiments, that it is a critical yet overlooked bottleneck of VTC. We propose SPIRAL (Self-improving Path Integration and Realignment), a self-supervised alignment framework that closes this gap using only the model's own text-path behavior as supervision, requiring no external teachers or additional annotations. SPIRAL operates at two complementary granularities: token-level on-policy distillation (OPD) for local faithfulness, and sequence-level preference optimization (DPO) for global coherence. On VTCBench, SPIRAL improves the overall score of Qwen3-VL-8B from 35.10 to 54.02, approaching the native text-input performance (55.60) and outperforming models up to 30x larger. The two granularities exhibit complementary strengths: OPD excels at retrieval and is sample-efficient, while DPO is stronger on reasoning and memory and scales better with data. SPIRAL's benefits also generalize to out-of-domain benchmarks, confirming that effective VTC hinges on aligning rendered-image representations back to native-text semantics.