Timage: A Generative Text-in-Image Paradigm for Fine-Tuning Vision-Language Models

📄 arXiv: 2606.19944v1 📥 PDF

作者: Yifeng Wu, Huimin Huang, Ruiluo Wu, Chunyi Lin, Guanhua Chen, Xian Wu, Wang Song, Ruize Han

分类: cs.CV

发布日期: 2026-06-18

备注: ECCV

💡 一句话要点

提出Timage以解决多模态模型空间推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 空间推理 图像叠加 受限薛定谔桥 视觉语言对齐 输入重构 增强现实 图像检索

📋 核心要点

  1. 现有多模态模型在细粒度空间推理中，常因缺乏几何锚点而无法准确定位图像区域。
  2. Timage通过将文本查询直接叠加在图像上，重新定义了多模态理解为输入对齐问题，提升了模型的空间语义聚焦能力。
  3. 在VMCBench测试集上，Timage结合7B基础模型的表现超越了更大规模的模型，展示了其有效性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在进行细粒度空间推理时，常常无法准确定位图像区域，因为文本查询通常缺乏明确的几何锚点。现有的解决方案要么重构模型权重，要么通过冗长的指令填充提示，但都无法可靠地将语言与视觉坐标对齐。本文提出Timage，将多模态理解重新定义为输入层面的对齐问题：查询以类型叠加的方式绘制在图像上。该叠加的放置和外观由受限薛定谔桥（cSB）生成，分为两个耦合的随机阶段。实验结果表明，Timage在VMCBench测试集上，结合一个7B的基础模型，明显超越了更大规模的专有系统和参数调优的基线。

🔬 方法详解

问题定义：本文解决的问题是多模态大型语言模型在细粒度空间推理中无法准确定位图像区域的挑战。现有方法通过重构模型权重或冗长提示来尝试解决，但效果不佳，且可能影响模型的整体能力。

核心思路：Timage的核心思路是将文本查询以叠加的形式直接绘制在图像上，从而在输入层面实现语言与视觉的对齐。这种设计使得模型能够更好地关注与查询相关的图像区域。

技术框架：Timage的整体架构包括两个主要阶段：第一阶段是区域搜索（Region Search），通过受限薛定谔桥（cSB）将噪声传输到与查询对齐的图像区域，同时遵循硬遮挡约束；第二阶段是外观塑造（Appearance Shaping），通过“墨水预算”正则化器调整文本的大小，以确保可读性和视觉平衡。

关键创新：Timage的关键创新在于将输入重构视为一种对齐问题，利用叠加的方式明确引导模型关注空间语义。这一方法与现有的通过重构权重或冗长提示的方式有本质区别。

关键设计：在设计中，使用了受限薛定谔桥作为样本生成器，确保了文本叠加的合理性和有效性。通过设置硬遮挡约束，保护了显著前景内容，同时“墨水预算”正则化器确保了文本的可读性和视觉平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VMCBench测试集上，Timage结合7B基础模型的表现显著优于更大规模的专有系统，展示了其在多模态推理中的有效性和优势。实验结果表明，Timage在准确性和效率上均有显著提升，验证了其作为输入重构方法的强大潜力。

🎯 应用场景

Timage的研究成果在多个领域具有潜在应用价值，包括图像检索、视觉问答和增强现实等。通过提升多模态模型的空间推理能力，Timage能够为用户提供更准确的视觉信息和交互体验，推动智能系统在复杂场景中的应用。未来，该方法有望在更广泛的多模态任务中得到推广和应用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) often lose track of the right image regions during fine-grained spatial reasoning, because a textual query rarely carries any explicit geometric anchor into the pixel domain. Prevailing remedies either rewire the model's weights or pad the prompt with verbose instructions, yet neither reliably pins the language to the correct visual coordinates without eroding the backbone's general competence. We introduce Timage, a paradigm that recasts multimodal understanding as an alignment problem solved at the input: the query is drawn, as a typeset overlay, onto the image itself. The placement and appearance of this overlay are produced by a Constrained Schrödinger Bridge (cSB), an entropic optimal-transport sampler that factorizes layout synthesis into two coupled stochastic stages. The first stage, Region Search, transports noise toward query-aligned image zones while obeying a hard occlusion barrier that protects salient foreground content; the second stage, Appearance Shaping, sizes the glyphs through an ``ink-budget'' regularizer so that the rendered text stays legible and visually balanced. The resulting overlay behaves as an explicit attention beacon that channels the model's focus along spatial semantics. On the VMCBench suite, Timage paired with a modest 7B backbone clearly overtakes far larger proprietary systems as well as parameter-tuned baselines. The study positions deliberate input reconstruction as a powerful, architecture-neutral lever for strengthening multimodal reasoning.