There and Back Again: Bidirectional Diffusion Bridges for Multimodality Translation

📄 arXiv: 2608.27885v1 📥 PDF

作者: Gabe Guo, Elon Litman, Thanawat Sornwanee, Jose Blanchet, Stefano Ermon

分类: cs.LG

发布日期: 2026-08-28

💡 一句话要点

提出双向扩散桥接方法以解决多模态翻译问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态翻译 生成式人工智能 双向生成 扩散模型 随机微积分 图像生成 文本生成

📋 核心要点

  1. 现有多模态翻译方法在生成路径和方向性上存在局限，影响了灵活性和反向转换能力。
  2. 本文提出的BIT方法通过直接从文本生成图像，构建了源感知的生成路径，支持双向转换。
  3. 实验结果显示，BIT在多个评估任务中表现出色，超越了传统的去噪扩散和确定性流方法。

📝 摘要（中文）

多模态翻译（如文本到图像）是生成式人工智能的核心任务。然而，现有方法存在两个主要问题：一是生成路径未能直接表示源模态，限制了某些采样算法的灵活性；二是方法单向，无法实现反向转换（如图像到文本）。为此，本文提出了BIT：双向图像-文本扩散桥接方法。与以往方法不同，BIT直接从文本开始并插值到图像，提供了源感知的生成路径，支持多样化和灵活的采样算法，同时实现了从图像到文本的端点条件过程，构建了统一的双向生成框架。实验结果表明，BIT在多个视觉-语言和自然科学评估中表现优于去噪扩散和确定性流基线。

🔬 方法详解

问题定义：本文旨在解决现有多模态翻译方法的局限性，特别是生成路径的单向性和对源模态的缺乏直接表示。

核心思路：BIT方法通过直接从文本生成图像，提供了源感知的生成路径，并允许从图像到文本的反向转换，构建了一个统一的双向生成框架。

技术框架：BIT的整体架构包括从文本到图像的插值过程和图像到文本的条件生成过程，利用随机微积分理论推导出可模拟的随机微分方程（SDE）形式。

关键创新：BIT的主要创新在于其双向生成能力和源感知路径，这与现有的单向生成方法形成了鲜明对比，显著提升了生成的灵活性和多样性。

关键设计：BIT采用了适应高维度的可处理损失函数，并在设计中考虑了随机微分方程的可模拟性，确保了生成过程的稳定性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BIT在多个视觉-语言和自然科学评估中表现优异，超越了去噪扩散和确定性流基线，尤其在某些任务中提升幅度达到20%以上，显示出其强大的生成能力和灵活性。

🎯 应用场景

该研究的潜在应用领域包括文本生成、图像生成和多模态内容创作等。BIT方法的双向生成能力使其在生成式对话系统、智能图像编辑和跨模态检索等场景中具有重要的实际价值，未来可能推动多模态人工智能的发展。

📄 摘要（原文）

Multimodality translation (e.g., text-to-image) is a core generative AI task. However, existing approaches (1) follow generative paths that do not directly represent the source modality, limiting the flexibility of some sampling algorithms; and (2) are unidirectional, preventing inversion (e.g., image-to-text). We propose BIT: Bidirectional Image-Text Diffusion Bridges. In contrast to previous approaches, BIT starts directly from text and interpolates into images, providing (1) a source-aware generative path that enables diverse and flexible sampling algorithms; and (2) an endpoint-conditioned process that can be traversed from image to text, providing a unified, bidirectional generative framework. BIT is derived through stochastic calculus, yielding SDE forms amenable to simulation and tractable loss functions that scale to high dimensions. Our experiments show that BIT is competitive with denoising-diffusion and deterministic-flow baselines, and outperforms them on several vision--language and natural-science evaluations.