Using Multimodal Deep Neural Networks to Disentangle Language from Visual Aesthetics

📄 arXiv: 2410.23603v1 📥 PDF

作者: Colin Conwell, Christopher Hamblin, Chelsea Boccagno, David Mayo, Jesse Cummings, Leyla Isik, Andrei Barbu

分类: cs.CV, cs.CL

发布日期: 2024-10-31

💡 一句话要点

利用多模态深度神经网络分离语言与视觉美学

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉美学 多模态学习 深度神经网络 表征学习 感知与语言 图像评分

📋 核心要点

  1. 现有方法难以有效区分视觉美感体验中感知计算和概念知识的贡献。
  2. 利用单模态和多模态深度神经网络，通过线性解码预测人类对图像的美感评分。
  3. 实验表明，单模态视觉模型解释了美感评分的大部分方差，语言模型贡献有限。

📝 摘要（中文）

当我们体验到视觉刺激的美感时，有多少体验源于我们无法描述的感知计算，又有多少源于我们可以轻松转化为自然语言的概念知识？在视觉引起的情感和审美体验中，通过行为范式或神经影像来区分感知和语言通常在经验上是难以处理的。本文通过使用单模态视觉、单模态语言和多模态（语言对齐）深度神经网络（DNN）模型的学习表征上的线性解码来预测人类对自然图像的美感评分，从而规避了这一挑战。研究表明，单模态视觉模型（例如SimCLR）解释了这些评分中绝大部分可解释的方差。语言对齐的视觉模型（例如SLIP）相对于单模态视觉模型产生了较小的增益。以视觉嵌入为条件生成标题的单模态语言模型（例如GPT2，通过CLIPCap）没有产生进一步的增益。单独的标题嵌入产生的预测不如图像和标题嵌入组合（连接）产生的预测准确。综上所述，这些结果表明，无论我们最终找到什么词语来描述我们对美的体验，前馈感知的难以言喻的计算可能为这种体验提供充分的基础。

🔬 方法详解

问题定义：论文旨在解决视觉美感体验中，感知（无法用语言描述的部分）和语言（概念知识）各自的贡献问题。现有方法，如行为范式或神经影像，在经验上难以有效分离这两种因素的影响。

核心思路：论文的核心思路是利用深度神经网络学习到的表征，通过线性解码来预测人类对图像的美感评分。通过比较单模态（视觉或语言）和多模态模型的预测性能，推断感知和语言在美感体验中的相对重要性。

技术框架：整体框架包括三个主要部分：1) 单模态视觉模型（如SimCLR）提取图像的视觉特征；2) 单模态语言模型（如GPT2，结合CLIPCap）根据图像生成标题，并提取标题的语言特征；3) 多模态模型（如SLIP）学习图像和语言对齐的联合表征。然后，使用线性回归模型基于这些特征预测人类的美感评分。

关键创新：该研究的关键创新在于利用深度学习模型的可解释性，通过分析不同模态表征的预测能力，间接推断感知和语言在美感体验中的作用。这种方法避免了直接操纵或测量感知和语言过程的困难。

关键设计：关键设计包括：1) 使用预训练的深度学习模型（SimCLR, GPT2, SLIP, CLIPCap）以获得高质量的视觉和语言表征；2) 使用线性回归模型进行解码，以简化分析并避免复杂的非线性关系；3) 对比不同模态组合的预测性能，以评估各自的贡献；4) 使用人类美感评分作为ground truth，确保研究结果与人类体验相关。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，单模态视觉模型（如SimCLR）能够解释人类美感评分中绝大部分可解释的方差。语言对齐的视觉模型（如SLIP）仅带来少量增益，而单模态语言模型（GPT2）几乎没有贡献。图像和标题嵌入的组合优于单独的标题嵌入，进一步证实了视觉信息在美感体验中的主导地位。

🎯 应用场景

该研究成果可应用于图像美学评估、艺术品分析、用户界面设计等领域。通过理解视觉和语言在美感体验中的作用，可以设计更符合人类审美偏好的产品和服务，提升用户体验。此外，该方法也为研究其他复杂认知过程中的感知和语言交互提供了借鉴。

📄 摘要（原文）

When we experience a visual stimulus as beautiful, how much of that experience derives from perceptual computations we cannot describe versus conceptual knowledge we can readily translate into natural language? Disentangling perception from language in visually-evoked affective and aesthetic experiences through behavioral paradigms or neuroimaging is often empirically intractable. Here, we circumnavigate this challenge by using linear decoding over the learned representations of unimodal vision, unimodal language, and multimodal (language-aligned) deep neural network (DNN) models to predict human beauty ratings of naturalistic images. We show that unimodal vision models (e.g. SimCLR) account for the vast majority of explainable variance in these ratings. Language-aligned vision models (e.g. SLIP) yield small gains relative to unimodal vision. Unimodal language models (e.g. GPT2) conditioned on visual embeddings to generate captions (via CLIPCap) yield no further gains. Caption embeddings alone yield less accurate predictions than image and caption embeddings combined (concatenated). Taken together, these results suggest that whatever words we may eventually find to describe our experience of beauty, the ineffable computations of feedforward perception may provide sufficient foundation for that experience.