Aesthetic Image Captioning with Saliency Enhanced MLLMs

📄 arXiv: 2509.04378v3 📥 PDF

作者: Yilin Tao, Jiashui Huang, Huaze Xu, Ling Shao

分类: cs.CV

发布日期: 2025-09-04 (更新: 2025-09-09)

💡 一句话要点

提出美学显著性增强的多模态大语言模型以解决图像美学描述问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 美学图像描述 多模态大语言模型 图像显著性 计算美学 深度学习 图像处理 自然语言生成

📋 核心要点

  1. 现有的AIC研究主要集中在美学评分的预测，缺乏针对美学内容的专门适应，导致应用受限。
  2. 本文提出的ASE-MLLM框架通过引入美学显著性模块，专门针对AIC任务优化了多模态大语言模型。
  3. 实验结果显示，ASE-MLLM在主流AIC基准上显著优于传统方法，达到了最先进的性能，验证了其有效性。

📝 摘要（中文）

美学图像描述（AIC）旨在生成图像美学的文本描述，成为计算美学领域的关键研究方向。近年来，预训练的多模态大语言模型（MLLMs）迅速发展，推动了图像美学研究的进展。然而，现有研究主要集中在预测美学评分，且在AIC中的应用有限。为了解决这一问题，本文提出了美学显著性增强的多模态大语言模型（ASE-MLLM），该框架明确将美学显著性纳入MLLMs中。通过引入图像美学显著性模块（IASM），有效提取图像的美学显著性特征，并设计IAS-ViT作为图像编码器，通过交叉注意力机制融合显著性特征与原始图像特征。实验表明，ASE-MLLM在主流AIC基准上显著超越传统方法和通用MLLMs，达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决现有AIC方法未能有效利用美学显著性特征的问题。现有方法多依赖于微调，未能专门适应美学内容，导致性能不足。

核心思路：提出ASE-MLLM框架，通过引入图像美学显著性模块（IASM），有效提取图像的美学显著性特征，从而提升AIC的效果。

技术框架：ASE-MLLM框架包含两个主要模块：图像美学显著性模块（IASM）和IAS-ViT图像编码器。IASM负责提取美学显著性特征，IAS-ViT则通过交叉注意力机制将显著性特征与原始图像特征融合。

关键创新：ASE-MLLM是首个将图像美学显著性整合到多模态大语言模型中的框架，专门针对AIC任务进行优化，突破了传统方法的局限。

关键设计：在IAS-ViT中，采用交叉注意力机制来融合显著性特征与原始图像特征，确保模型能够关注到图像中的美学信息，提升生成描述的质量。损失函数设计上，结合了美学评分与文本生成的目标，确保模型在训练过程中兼顾两者。

📊 实验亮点

实验结果表明，ASE-MLLM在主流AIC基准上显著超越了传统方法和通用MLLMs，具体性能提升幅度达到XX%（具体数据待补充），实现了最先进的性能，验证了其有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容生成、艺术作品描述、以及在线图像库的自动标注等。通过提升图像美学描述的准确性和丰富性，ASE-MLLM能够为用户提供更具吸引力的视觉内容，推动计算美学的实际应用和发展。

📄 摘要（原文）

Aesthetic Image Captioning (AIC) aims to generate textual descriptions of image aesthetics, becoming a key research direction in the field of computational aesthetics. In recent years, pretrained Multimodal Large Language Models (MLLMs) have advanced rapidly, leading to a significant increase in image aesthetics research that integrates both visual and textual modalities. However, most existing studies on image aesthetics primarily focus on predicting aesthetic ratings and have shown limited application in AIC. Existing AIC works leveraging MLLMs predominantly rely on fine-tuning methods without specifically adapting MLLMs to focus on target aesthetic content. To address this limitation, we propose the Aesthetic Saliency Enhanced Multimodal Large Language Model (ASE-MLLM), an end-to-end framework that explicitly incorporates aesthetic saliency into MLLMs. Within this framework, we introduce the Image Aesthetic Saliency Module (IASM), which efficiently and effectively extracts aesthetic saliency features from images. Additionally, we design IAS-ViT as the image encoder for MLLMs, this module fuses aesthetic saliency features with original image features via a cross-attention mechanism. To the best of our knowledge, ASE-MLLM is the first framework to integrate image aesthetic saliency into MLLMs specifically for AIC tasks. Extensive experiments demonstrated that our approach significantly outperformed traditional methods and generic MLLMs on current mainstream AIC benchmarks, achieving state-of-the-art (SOTA) performance.