What Images Cannot Say: Language-Guided Olfactory Representation Learning

📄 arXiv: 2607.06402v1 📥 PDF

作者: Eleftherios Tsonis, Xi Wang, Vicky Kalogeiton

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-07-07

备注: ECCV 2026. Project page: https://www.lix.polytechnique.fr/vista/projects/2026_scent_tsonis/

💡 一句话要点

提出SCENT框架以解决视觉与嗅觉信号对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 嗅觉表示 视觉-语言模型 语义对齐 环境感知

📋 核心要点

  1. 现有方法在将嗅觉信号与视觉信息对齐时面临挑战，尤其是许多嗅觉线索源于不可见的环境因素。
  2. 本文提出的SCENT框架通过语言指导，利用视觉-语言模型生成场景描述，帮助学习嗅觉表示。
  3. 在New York Smells数据集上的实验表明，SCENT在跨模态检索中显著提升性能，尤其是在嗅觉到图像和嗅觉到文本的任务中。

📝 摘要（中文）

图像能够展示场景的外观，但很少能传达身处其中的感受。尽管近期的数据集将视觉场景与电子鼻测量相结合，但由于许多嗅觉线索源于不可见的环境因素，嗅觉信号与图像的对齐仍然具有挑战性。本文提出了SCENT，一个多模态框架，利用语言指导作为视觉与嗅觉之间的语义桥梁。该方法利用视觉-语言模型生成场景描述，捕捉对象、环境上下文及可能的嗅觉线索。这些描述为嗅觉表示学习提供了语义指导。我们训练了一个嗅觉编码器，将电子鼻信号映射到与视觉和文本表示对齐的共享嵌入空间，并引入了语言指导的潜在分解，分离特定对象的气味与环境贡献。实验结果表明，SCENT在跨模态检索方面显著优于仅使用视觉的基线，且在嗅觉到图像和嗅觉到文本的检索任务中达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决嗅觉信号与视觉信息对齐的难题，现有方法未能有效捕捉环境因素对嗅觉的影响。

核心思路：SCENT框架通过语言指导，利用视觉-语言模型生成语义丰富的场景描述，从而为嗅觉表示学习提供语义支持。

技术框架：SCENT的整体架构包括场景描述生成模块、嗅觉编码器和语言指导的潜在分解模块，形成一个多模态学习系统。

关键创新：引入语言指导的潜在分解技术，能够有效分离特定对象的气味与环境因素的贡献，这是与现有方法的本质区别。

关键设计：在网络结构上，采用了共享嵌入空间的设计，使得电子鼻信号、视觉和文本表示能够有效对齐，同时在损失函数中引入了语义一致性约束，以提升模型的学习效果。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，SCENT在嗅觉到图像和嗅觉到文本的检索任务中，性能显著优于视觉基线，达到了最先进的水平。具体而言，跨模态检索的准确率提升了XX%，展示了该框架在多模态学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、食品安全监测和环境监测等。通过更好地理解嗅觉与视觉的关系，SCENT框架能够为多模态感知系统提供更丰富的上下文信息，提升用户体验和系统智能化水平。

📄 摘要（原文）

Images tell us what a scene looks like, but rarely what it would feel like to be there. While recent datasets pair visual scenes with electronic-nose measurements, aligning smell signals with images remains challenging because many olfactory cues arise from contextual environmental factors that are not directly visible in pixels. We introduce SCENT, a multimodal framework that uses language guidance as a semantic bridge between vision and olfaction. Our approach leverages Vision-Language Models (VLMs) to generate scene descriptors capturing objects, environmental context, and plausible ambient smell cues suggested by the visual scene. These descriptors provide semantic guidance for learning olfactory representations. We train a smell encoder that maps electronic-nose signals into a shared embedding space aligned with both visual and textual representations, and introduce a languageguided latent decomposition that separates object-specific odors from contextual environmental contributions. Experiments on the New York Smells dataset demonstrate that SCENT significantly improves crossmodal retrieval compared to vision-only baselines, achieving state-of-theart performance on smell-to-image and smell-to-text retrieval tasks. In addition, our framework produces interpretable olfactory representations that enable the disentanglement of complex smell mixtures. Our results reveal the importance of contextual semantic information for grounding olfactory perception in multimodal learning and pave the way for future research in this area.