With Ears to See and Eyes to Hear: Sound Symbolism Experiments with Multimodal Large Language Models
作者: Tyler Loakman, Yucheng Li, Chenghua Lin
分类: cs.CL
发布日期: 2024-09-23 (更新: 2024-10-18)
备注: Accepted to EMNLP 2024 (Camera Ready)
💡 一句话要点
利用多模态大语言模型探索声音象征主义现象，分析模型“听觉”能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 声音象征主义 多模态学习 视觉语言模型 大型语言模型 心理语言学
📋 核心要点
- 现有研究较少关注仅依赖视觉和文本模态的模型，能否通过抽象推理理解声音现象。
- 本文通过分析VLMs和LLMs在声音象征主义任务中的表现，评估其“听觉”能力。
- 实验表明，VLMs在不同任务上与人类判断的一致性不同，且模型大小影响语言图标性的理解。
📝 摘要（中文）
本文研究了仅能访问视觉和文本模态的大语言模型(LLMs)和视觉语言模型(VLMs)是否能够通过正字法和图像的抽象推理来隐式地理解基于声音的现象。具体而言，分析了VLMs和LLMs在声音象征主义方面的能力，即识别声音和概念之间非任意联系的能力，以及它们通过开放和闭源多模态模型的语言和视觉模块的相互作用来“听”的能力。通过复制经典的Kiki-Bouba和Mil-Mal形状和大小象征任务，并将人类对语言图标性的判断与LLMs的判断进行比较，进行了多项实验。结果表明，VLMs与人类标签表现出不同程度的一致性，并且与人类相比，VLMs可能需要更多的任务信息来进行计算机实验。此外，通过更高的最大一致性水平发现，VLMs更容易识别大小象征主义，而对语言图标性的理解高度依赖于模型大小。
🔬 方法详解
问题定义：论文旨在研究视觉语言模型（VLMs）和大型语言模型（LLMs）在缺乏直接声音输入的情况下，是否能够通过视觉和文本信息理解声音象征主义，即声音与概念之间的非任意联系。现有方法主要集中在人类参与的心理语言学实验，而缺乏对模型隐式理解声音现象能力的深入探索。现有模型的痛点在于，它们通常被设计用于处理视觉和文本信息，而忽略了声音信息在语言理解中的作用。
核心思路：论文的核心思路是利用VLMs和LLMs的视觉和文本模态，通过模拟人类的联觉能力，来判断模型是否能够识别声音与形状、大小等概念之间的关联。通过让模型完成声音象征主义任务，例如Kiki-Bouba效应，来评估模型是否能够像人类一样将特定形状与特定声音联系起来。这种方法旨在揭示模型是否具备通过视觉和文本信息推断声音特征的能力。
技术框架：论文的整体框架包括以下几个阶段：1) 数据准备：收集用于声音象征主义实验的图像和文本数据，例如Kiki-Bouba形状的图像和相应的名称。2) 模型选择：选择具有代表性的VLMs和LLMs，包括开源和闭源模型。3) 实验设计：设计多个实验，包括复制经典的Kiki-Bouba和Mil-Mal任务，以及比较人类和模型对语言图标性的判断。4) 结果分析：分析模型在不同任务上的表现，评估模型与人类判断的一致性，并分析模型大小对结果的影响。
关键创新：论文的关键创新在于将VLMs和LLMs应用于声音象征主义研究，探索了模型在缺乏直接声音输入的情况下，通过视觉和文本信息理解声音现象的能力。与传统心理语言学实验不同，该研究采用计算方法，为研究声音象征主义提供了一种新的视角。此外，论文还比较了不同模型在不同任务上的表现，揭示了模型大小和任务信息对结果的影响。
关键设计：在实验设计方面，论文采用了经典的Kiki-Bouba和Mil-Mal任务，这些任务已被广泛用于研究人类的声音象征主义。为了评估模型对语言图标性的理解，论文将人类对语言图标性的判断与LLMs的判断进行了比较。在模型选择方面，论文选择了具有代表性的VLMs和LLMs，包括开源和闭源模型，以确保结果的可靠性。在结果分析方面，论文采用了多种指标来评估模型与人类判断的一致性，例如准确率和一致性水平。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VLMs在声音象征主义任务中表现出不同程度的一致性，大小象征主义比形状象征主义更容易被VLMs识别。模型大小对语言图标性的理解有显著影响，更大的模型表现更好。研究还发现，VLMs可能需要更多的任务信息才能达到与人类相当的水平。
🎯 应用场景
该研究成果可应用于提升多模态模型的感知能力，使其更好地理解语言的深层含义。例如，在人机交互中，模型可以根据视觉信息推断声音特征，从而更自然地与人类进行交流。此外，该研究还可以为语音合成、音乐生成等领域提供新的思路。
📄 摘要（原文）
Recently, Large Language Models (LLMs) and Vision Language Models (VLMs) have demonstrated aptitude as potential substitutes for human participants in experiments testing psycholinguistic phenomena. However, an understudied question is to what extent models that only have access to vision and text modalities are able to implicitly understand sound-based phenomena via abstract reasoning from orthography and imagery alone. To investigate this, we analyse the ability of VLMs and LLMs to demonstrate sound symbolism (i.e., to recognise a non-arbitrary link between sounds and concepts) as well as their ability to "hear" via the interplay of the language and vision modules of open and closed-source multimodal models. We perform multiple experiments, including replicating the classic Kiki-Bouba and Mil-Mal shape and magnitude symbolism tasks, and comparing human judgements of linguistic iconicity with that of LLMs. Our results show that VLMs demonstrate varying levels of agreement with human labels, and more task information may be required for VLMs versus their human counterparts for in silico experimentation. We additionally see through higher maximum agreement levels that Magnitude Symbolism is an easier pattern for VLMs to identify than Shape Symbolism, and that an understanding of linguistic iconicity is highly dependent on model size.