SemEval-2025 Task 1: AdMIRe -- Advancing Multimodal Idiomaticity Representation
作者: Thomas Pickard, Aline Villavicencio, Maggie Mi, Wei He, Dylan Phelps, Marco Idiart
分类: cs.CL, cs.CV
发布日期: 2025-03-19 (更新: 2025-06-04)
备注: Author accepted version; SemEval-2025 proceedings to appear at ACL 2025. This version corrects a typo in the results table
💡 一句话要点
AdMiRe任务旨在提升模型在多模态语境下对习语的理解和表征能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 习语理解 视觉语言模型 混合专家模型 语义表示
📋 核心要点
- 现有方法难以准确理解和表征习语，尤其是在多模态语境下，这阻碍了自然语言处理的进一步发展。
- AdMiRe任务通过提供多模态数据集和两个子任务，鼓励研究者探索更有效的习语理解和表征方法。
- 实验结果表明，结合预训练LLM和视觉-语言模型，并采用混合专家策略，可以达到人类水平的习语理解能力。
📝 摘要（中文）
习语在自然语言处理中提出了独特的挑战，因为它们的含义通常不能直接从构成词推断出来。尽管大型语言模型（LLM）最近取得了进展，但习语仍然是鲁棒语义表示的一个重大障碍。我们提出了SemEval-2025 Task 1的数据集和任务：AdMiRe（Advancing Multimodal Idiomaticity Representation），它挑战社区评估和提高模型在多模态语境和多种语言中解释习语的能力。参与者参加了两个子任务：根据图像与习语或字面意义的对齐程度对图像进行排序，以及预测序列中的下一个图像。最有效的方法通过在混合专家设置中利用预训练的LLM和视觉-语言模型实现了人类水平的性能，并使用多个查询来平滑这些模型在习语表示方面的弱点。
🔬 方法详解
问题定义：论文旨在解决模型在多模态语境下对习语理解和表征能力不足的问题。现有方法，包括传统NLP模型和新兴的LLM，在处理习语时，由于其非字面意义的特性，往往表现不佳，无法准确捕捉习语的真实含义。这导致在需要理解习语的下游任务中，模型性能受到限制。
核心思路：论文的核心思路是利用预训练的LLM和视觉-语言模型，通过多模态信息的融合来提升模型对习语的理解。同时，采用混合专家（Mixture-of-Experts）的策略，结合多个模型的优势，以弥补单个模型在习语理解方面的不足。通过多轮查询（multiple queries）来平滑模型在习语表征上的弱点，从而更准确地捕捉习语的语义信息。
技术框架：AdMiRe任务包含两个子任务，分别从不同角度评估模型对习语的理解能力。第一个子任务是图像排序，要求模型根据图像与习语或字面意义的对齐程度对图像进行排序。第二个子任务是图像序列预测，要求模型预测序列中的下一个图像，考察模型对习语在上下文中的理解能力。整体流程包括数据预处理、模型训练、模型融合和结果评估等环节。
关键创新：该任务的关键创新在于其多模态的设定，以及对模型在习语理解方面的细致评估。与以往侧重于文本的习语理解任务不同，AdMiRe任务引入了视觉信息，要求模型同时理解文本和图像，从而更全面地评估模型对习语的理解能力。此外，通过两个不同的子任务，从排序和预测两个角度考察模型，更全面地评估了模型的性能。
关键设计：在模型设计方面，鼓励参赛者探索各种预训练LLM和视觉-语言模型的组合，并尝试不同的混合专家策略。具体的技术细节包括如何选择合适的预训练模型、如何设计有效的融合机制、如何优化模型的训练过程等。此外，如何设计有效的多轮查询策略，以平滑模型在习语表征上的弱点，也是一个重要的技术挑战。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过结合预训练的LLM和视觉-语言模型，并在混合专家设置中使用多轮查询，可以使模型在AdMiRe任务中达到人类水平的性能。这表明，多模态信息的融合和模型融合是提升习语理解能力的关键。具体的性能数据和对比基线将在SemEval-2025的官方报告中公布。
🎯 应用场景
该研究成果可应用于多个领域，例如多模态信息检索、图像描述生成、视觉问答等。通过提升模型对习语的理解能力，可以提高这些应用在处理包含习语的复杂场景时的准确性和鲁棒性。未来，该研究还可以促进跨语言习语理解的研究，为构建更智能、更人性化的AI系统奠定基础。
📄 摘要（原文）
Idiomatic expressions present a unique challenge in NLP, as their meanings are often not directly inferable from their constituent words. Despite recent advancements in Large Language Models (LLMs), idiomaticity remains a significant obstacle to robust semantic representation. We present datasets and tasks for SemEval-2025 Task 1: AdMiRe (Advancing Multimodal Idiomaticity Representation), which challenges the community to assess and improve models' ability to interpret idiomatic expressions in multimodal contexts and in multiple languages. Participants competed in two subtasks: ranking images based on their alignment with idiomatic or literal meanings, and predicting the next image in a sequence. The most effective methods achieved human-level performance by leveraging pretrained LLMs and vision-language models in mixture-of-experts settings, with multiple queries used to smooth over the weaknesses in these models' representations of idiomaticity.