A Fusion Model for Artwork Identification Based on Convolutional Neural Networks and Transformers

📄 arXiv: 2502.18083v3 📥 PDF

作者: Zhenyu Wang, Heng Song

分类: cs.CV

发布日期: 2025-02-25 (更新: 2025-02-27)

💡 一句话要点

提出一种融合CNN和Transformer的艺术品识别模型，提升图像分类精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 艺术品识别 卷积神经网络 Transformer 特征融合 图像分类

📋 核心要点

  1. 现有方法在艺术品识别中，CNN擅长局部特征但缺乏全局理解，Transformer擅长全局但忽略局部细节。
  2. 论文提出融合CNN和Transformer的模型，利用CNN提取局部特征，Transformer捕获全局上下文，再进行特征融合。
  3. 实验结果表明，该融合模型在艺术品分类精度和F1分数上均优于单独的CNN和Transformer模型。

📝 摘要（中文）

艺术品识别在文化遗产保护、艺术市场分析和历史研究等领域至关重要。随着深度学习的发展，卷积神经网络（CNN）和Transformer模型已成为图像分类的关键工具。CNN擅长局部特征提取，但在全局上下文方面存在不足；Transformer在捕获全局依赖关系方面表现出色，但在细粒度局部细节方面较弱。为了应对这些挑战，本文提出了一种融合CNN和Transformer的艺术品识别模型。该模型首先使用CNN提取局部特征，然后使用Transformer捕获全局上下文，最后通过特征融合机制来提高分类精度。在中国画和油画数据集上的实验表明，该融合模型优于单独的CNN和Transformer模型，分类精度分别提高了9.7%和7.1%，F1分数分别提高了0.06和0.05。结果表明该模型的有效性和未来改进的潜力，例如多模态集成和架构优化。

🔬 方法详解

问题定义：论文旨在解决艺术品识别中，传统CNN模型难以有效利用全局上下文信息，而Transformer模型对局部细节捕捉不足的问题。现有方法在处理艺术品图像时，往往无法充分提取图像中的局部纹理特征和全局风格特征，导致识别精度不高。

核心思路：论文的核心思路是将CNN和Transformer的优势结合起来。利用CNN提取图像的局部特征，例如笔触、颜色等，然后利用Transformer学习图像的全局上下文信息，例如构图、风格等。通过融合局部特征和全局上下文信息，提高艺术品识别的准确率。

技术框架：该模型主要包含三个模块：CNN特征提取模块、Transformer全局上下文建模模块和特征融合模块。首先，CNN模块提取输入图像的局部特征。然后，Transformer模块利用自注意力机制学习局部特征之间的全局依赖关系。最后，特征融合模块将CNN提取的局部特征和Transformer学习到的全局上下文信息进行融合，得到最终的特征表示，用于艺术品分类。

关键创新：该论文的关键创新在于提出了一种CNN和Transformer的融合框架，能够有效地结合局部特征和全局上下文信息，从而提高艺术品识别的准确率。与传统的单一模型相比，该融合模型能够更好地捕捉艺术品图像中的复杂特征。

关键设计：在CNN模块中，使用了预训练的ResNet模型作为特征提取器。在Transformer模块中，使用了多头自注意力机制来学习全局依赖关系。在特征融合模块中，使用了加权融合的方式，根据不同特征的重要性进行加权。损失函数使用了交叉熵损失函数，优化器使用了Adam优化器。

📊 实验亮点

实验结果表明，该融合模型在中国画和油画数据集上均取得了显著的性能提升。具体而言，分类精度分别提高了9.7%和7.1%，F1分数分别提高了0.06和0.05。这些结果表明，该融合模型能够有效地结合CNN和Transformer的优势，从而提高艺术品识别的准确率。

🎯 应用场景

该研究成果可应用于文化遗产保护领域，例如对古代字画、瓷器等艺术品进行自动识别和分类，辅助文物鉴定和修复工作。在艺术品市场分析方面，可以帮助评估艺术品的价值和真伪。此外，该技术还可应用于艺术教育和研究领域，例如构建智能化的艺术品学习平台。

📄 摘要（原文）

The identification of artwork is crucial in areas like cultural heritage protection, art market analysis, and historical research. With the advancement of deep learning, Convolutional Neural Networks (CNNs) and Transformer models have become key tools for image classification. While CNNs excel in local feature extraction, they struggle with global context, and Transformers are strong in capturing global dependencies but weak in fine-grained local details. To address these challenges, this paper proposes a fusion model combining CNNs and Transformers for artwork identification. The model first extracts local features using CNNs, then captures global context with a Transformer, followed by a feature fusion mechanism to enhance classification accuracy. Experiments on Chinese and oil painting datasets show the fusion model outperforms individual CNN and Transformer models, improving classification accuracy by 9.7% and 7.1%, respectively, and increasing F1 scores by 0.06 and 0.05. The results demonstrate the model's effectiveness and potential for future improvements, such as multimodal integration and architecture optimization.