See & Sniff: Learning Visuo-Olfactory Representations
作者: Seongyu Kim, Seungwoo Lee, Hyeonggon Ryu, Joon Son Chung, Arda Senocak
分类: cs.CV
发布日期: 2026-06-25
备注: ECCV 2026. Project Page: https://mm.kaist.ac.kr/projects/SeeandSniff/
💡 一句话要点
提出See & Sniff框架以解决嗅觉与视觉的跨模态学习问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-嗅觉学习 跨模态数据集 自监督学习 气味分类 气味定位 多模态感知
📋 核心要点
- 现有多模态模型在视觉与语言、音频等领域表现良好，但嗅觉的整合仍然缺乏有效的数据支持，限制了相关研究的发展。
- 本文提出了SmellNet-V数据集，通过合成配对气味样本与视觉图像，构建了一个新的跨模态基准，进而提出See & Sniff框架以学习联合表示。
- 实验结果表明，See & Sniff在仅依靠气味进行分类时性能提升7%，并在跨模态检索和气味定位任务中展现出良好的泛化能力。
📝 摘要（中文）
尽管现代多模态模型已将视觉与语言、音频或触觉结合，但嗅觉仍然未被充分探索，主要由于缺乏配对的视觉-嗅觉数据。本文介绍了SmellNet-V，一个可扩展的视觉-嗅觉数据集，基于气味身份在语义类别内对视觉变换的高度不变性。这使得我们能够将仅有气味样本与语义上对齐的网络图像进行合成配对，从而将单模态嗅觉数据集转化为跨模态基准。基于此数据集，我们提出了See & Sniff，一个自监督框架，通过密集局部对齐学习联合视觉-嗅觉表示，并自然生成气味显著性图以实现气味源的空间定位。我们还引入了像素级气味定位任务及评估基准。我们的算法在仅依靠气味的气味分类上超越了基线7%，并在跨模态检索和气味定位上具有良好的泛化能力，确立了视觉-嗅觉学习作为多模态感知的新方向。
🔬 方法详解
问题定义：本文旨在解决嗅觉与视觉之间的跨模态学习问题，现有方法缺乏有效的配对数据，限制了嗅觉的多模态整合。
核心思路：通过构建SmellNet-V数据集，利用气味身份在视觉变换中的不变性，合成配对气味样本与视觉图像，进而提出See & Sniff框架以学习联合表示。
技术框架：整体架构包括数据集构建、密集局部对齐、联合表示学习和气味显著性图生成等主要模块，形成一个自监督学习流程。
关键创新：最重要的创新在于提出了一个新的跨模态数据集和自监督学习框架，使得嗅觉与视觉的联合学习成为可能，显著提升了气味分类和定位的性能。
关键设计：在模型设计中，采用了特定的损失函数以优化局部对齐，网络结构则结合了视觉特征提取和气味表示学习，确保了模型的有效性和泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，See & Sniff框架在仅依靠气味进行分类时性能提升7%，并在跨模态检索和气味定位任务中展现出良好的泛化能力，确立了视觉-嗅觉学习的新方向。
🎯 应用场景
该研究的潜在应用领域包括食品工业、香水开发、环境监测等，能够帮助实现更智能的嗅觉识别和环境感知。未来，随着技术的进步，可能会在智能家居、机器人等领域发挥重要作用，提升人机交互的体验。
📄 摘要（原文）
While modern multimodal models integrate vision with language, audio, or touch, olfaction remains largely unexplored due to the lack of paired visuo-olfactory data. We introduce SmellNet-V, a scalable visuo-olfactory dataset built on the insight that odor identity is largely invariant to visual transformations within a semantic category. This allows us to synthetically pair smell-only samples with semantically aligned in-the-wild web images, converting a unimodal olfactory dataset into a cross-modal benchmark without costly co-collection. Building on this dataset, we propose See & Sniff, a self-supervised framework that learns joint visuo-olfactory representations via dense local alignment and naturally produces smell saliency maps for spatial grounding of odor sources. We further introduce pixel-level smell localization task and a benchmark for evaluation. Our method surpasses smell-only baselines by 7% in smell classification from smell alone and generalizes to cross-modal retrieval and smell localization, establishing visuo-olfactory learning as a new direction in multimodal perception.