Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning

📄 arXiv: 2603.01696v1 📥 PDF

作者: Haonan Jia, Shichao Dong, Xin Dong, Zenghui Sun, Jin Wang, Jinsong Lan, Xiaoyong Zhu, Bo Zheng, Kaifu Zhang

分类: cs.CV, cs.AI

发布日期: 2026-03-02

备注: Accepted by CVPR 2026

💡 一句话要点

提出跨模态身份映射（CIM），通过强化学习最小化模态转换中的信息损失，提升图像描述质量。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨模态学习 图像描述 强化学习 信息损失 视觉-语言模型 跨模态检索 身份映射

📋 核心要点

  1. 现有LVLMs在图像描述生成中存在信息损失，未能充分利用图像细节，导致描述不准确。
  2. 提出CIM框架，利用强化学习，通过最小化跨模态信息损失，实现图像到描述的身份映射。
  3. 实验表明，CIM在图像描述任务上优于监督微调，并在COCO-LN500数据集上取得了显著的性能提升。

📝 摘要（中文）

大型视觉-语言模型（LVLMs）在生成图像描述时，经常忽略或错误表达关键的视觉内容。最小化这种信息损失将迫使LVLMs关注图像细节，从而生成更精确的描述。本文认为，图像描述的质量与通过该描述进行文本搜索所检索到的图像之间的相似性呈正相关。基于此，我们提出了跨模态身份映射（CIM），这是一个强化学习框架，无需额外标注即可增强图像描述能力。具体而言，该方法从两个角度定量评估信息损失：图库表示一致性和查询-图库图像相关性。在这些指标的监督下，LVLM最小化信息损失，旨在实现从图像到描述的身份映射。实验结果表明，我们的方法在图像描述方面表现出色，甚至优于监督微调。特别是在COCO-LN500基准测试中，CIM在Qwen2.5-VL-7B上实现了关系推理方面20%的改进。代码将在论文被接收后发布。

🔬 方法详解

问题定义：现有的大型视觉-语言模型（LVLMs）在将图像转换为文本描述时，常常会丢失或曲解图像中的关键信息。这种信息损失导致生成的描述不够准确和完整，无法充分反映图像的真实内容。现有方法难以有效衡量和最小化这种跨模态的信息损失，因为视觉内容和文本输出之间存在巨大的模态差异。

核心思路：论文的核心思路是，图像描述的质量与使用该描述进行文本搜索所检索到的图像之间的相似度高度相关。如果一个描述能够准确地表达图像的内容，那么使用该描述进行搜索应该能够检索到与原始图像相似的图像。基于这个假设，论文提出通过最大化检索到的图像与原始图像之间的相似度来最小化信息损失。

技术框架：CIM框架是一个基于强化学习的框架，用于训练LVLM生成更好的图像描述。该框架包含以下主要模块：1) LVLM作为策略网络，负责生成图像描述；2) 跨模态检索模块，使用生成的描述进行图像检索；3) 奖励函数，基于图库表示一致性和查询-图库图像相关性来评估信息损失，并为LVLM提供奖励信号。LVLM通过与环境交互，不断优化其描述生成策略，以最大化累积奖励。

关键创新：CIM的关键创新在于提出了一种无需额外标注即可量化跨模态信息损失的方法。通过利用跨模态检索的特性，将图像描述的质量与检索到的图像的相似度联系起来，从而避免了人工标注的成本和主观性。此外，CIM还引入了图库表示一致性和查询-图库图像相关性两个指标，从不同角度评估信息损失，提高了评估的准确性和鲁棒性。

关键设计：CIM框架的关键设计包括：1) 奖励函数的设计，综合考虑了图库表示的一致性和查询-图库图像的相关性，以更全面地评估信息损失；2) 强化学习算法的选择，论文可能采用了某种特定的强化学习算法（具体算法未知）来训练LVLM；3) 跨模态检索模块的实现，可能使用了某种预训练的跨模态嵌入模型（具体模型未知）来进行图像检索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CIM方法在COCO-LN500基准测试中，相较于基线模型Qwen2.5-VL-7B，在关系推理方面取得了20%的显著提升。这一结果表明，CIM能够有效减少模态转换过程中的信息损失，提升LVLM对图像内容的理解和表达能力，从而生成更准确、更丰富的图像描述。

🎯 应用场景

该研究成果可应用于各种需要高质量图像描述的场景，例如：图像搜索引擎、视觉辅助设备、自动驾驶、机器人导航等。通过提高图像描述的准确性和完整性，可以改善人机交互体验，提升系统的智能化水平，并为视觉障碍人士提供更好的辅助服务。未来，该方法有望扩展到其他模态转换任务中，例如视频描述、音频描述等。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) often omit or misrepresent critical visual content in generated image captions. Minimizing such information loss will force LVLMs to focus on image details to generate precise descriptions. However, measuring information loss during modality conversion is inherently challenging due to the modal gap between visual content and text output. In this paper, we argue that the quality of an image caption is positively correlated with the similarity between images retrieved via text search using that caption. Based on this insight, we further propose Cross-modal Identity Mapping (CIM), a reinforcement learning framework that enhances image captioning without requiring additional annotations. Specifically, the method quantitatively evaluates the information loss from two perspectives: Gallery Representation Consistency and Query-gallery Image Relevance. Supervised under these metrics, LVLM minimizes information loss and aims to achieve identity mapping from images to captions. The experimental results demonstrate the superior performance of our method in image captioning, even when compared with Supervised Fine-Tuning. Particularly, on the COCO-LN500 benchmark, CIM achieves a 20% improvement in relation reasoning on Qwen2.5-VL-7B.The code will be released when the paper is accepted.