Fine-Grained Food Image Understanding via Target-Aware Data Alignment
作者: Jui-Feng Chi, Wei-Lun Chu, Bruce Coburn, Jinge Ma, Fengqing Zhu
分类: cs.CV
发布日期: 2026-07-28
💡 一句话要点
提出目标感知数据对齐方法以解决细粒度食品图像理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 细粒度理解 食品图像 多模态对齐 视觉-语言模型 数据选择 标题优化 检索性能
📋 核心要点
- 现有的CLIP风格视觉-语言模型在处理异构网络收集的图像-文本对时，面临数据分布不一致和跨模态对齐不足的问题。
- 论文提出了一种目标感知的数据选择和VLM辅助的标题优化方法，以生成更为准确的视觉基础描述，从而提升细粒度食品理解能力。
- 实验结果显示，数据优化策略显著提高了检索性能，VLM优化的标题提升了约19%，整体方法的检索得分是纯VLM检索的两倍以上。
📝 摘要（中文）
细粒度食品视觉-语义理解要求模型能够捕捉成分、烹饪方法、熟度、颜色、质地和盘子组成等方面的细微差别。尽管CLIP风格的视觉-语言模型为此任务提供了自然框架，但当训练依赖于异构的网络收集的图像-文本对时，其有效性受到限制。我们提出了一种以数据为中心的多模态对齐方法，首先进行目标感知的数据选择，以识别视觉相关的训练子集，然后应用基于VLM的标题优化，生成视觉基础的目标风格描述。实验表明，我们的数据优化策略显著提高了检索性能，基于VLM的标题优化单独带来了约19%的平均性能提升。
🔬 方法详解
问题定义：本论文旨在解决细粒度食品图像理解中的数据分布不一致和跨模态对齐不足的问题。现有方法在使用网络收集的图像-文本对时，常常面临图像与目标分布的差异以及文本描述的噪声和多语言问题。
核心思路：论文提出了一种数据中心的多模态对齐方法，首先通过目标感知的数据选择识别视觉相关的训练子集，然后利用VLM进行标题优化，生成视觉基础的目标风格描述。这样的设计旨在提高训练数据的质量，从而提升模型的理解能力。
技术框架：整体方法包括两个主要阶段：第一阶段是目标感知的数据选择，第二阶段是基于VLM的标题优化。通过这两个阶段，生成的图像-文本对用于训练多个CLIP风格的检索专家，并通过层次化的VLM辅助多专家决策融合策略进行组合。
关键创新：最重要的技术创新在于提出了目标感知的数据选择和基于VLM的标题优化策略，这与现有方法的主要区别在于通过精细化的数据处理来提升模型性能，而不是单纯依赖于大规模的异构数据集。
关键设计：在关键设计方面，论文强调了数据选择的标准和VLM的使用策略，确保生成的描述与视觉内容紧密对齐。此外，采用了层次化的决策融合策略，仅在专家意见不一致时调用VLM，从而提高了效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，数据优化策略显著提升了检索性能，基于VLM的标题优化单独带来了约19%的性能提升。整体方法的检索得分超过了纯VLM检索的两倍，同时保持了较高的效率，展示了其在细粒度食品理解中的优势。
🎯 应用场景
该研究的潜在应用领域包括食品图像检索、智能厨房助手和食品推荐系统等。通过提升细粒度食品理解能力，该方法能够为用户提供更精准的食品信息和个性化推荐，具有重要的实际价值和未来影响。
📄 摘要（原文）
Fine-grained food visual--semantic understanding requires models to capture subtle distinctions across ingredients, cooking methods, doneness, color, texture, and plate composition. Although CLIP-style vision-language models provide a natural framework for this task, their effectiveness is limited when training relies on heterogeneous web-collected image--text pairs. Such data often exhibit a web-to-target domain gap and cross-modal misalignment, where images differ from the target distribution and captions are noisy, multilingual, or weakly grounded in visual content. We propose a data-centric multimodal alignment method for fine-grained food description and recognition. Our method first performs target-aware data selection to identify visually relevant training subsets, then applies VLM-based caption refinement to generate visually grounded, target-style descriptions. Using these curated image--caption pairs, we train complementary CLIP-style retrieval experts and further combine their decisions through a hierarchical VLM-assisted multi-expert decision-level fusion strategy that invokes the VLM only when experts disagree. Experiments show that our data refinement strategy significantly improves retrieval performance over naive web supervision, with VLM-based caption refinement alone yielding an average performance gain of approximately 19%. Our full method also achieves more than twice the retrieval score of pure VLM-based retrieval while remaining substantially more efficient.