Can GPTs Evaluate Graphic Design Based on Design Principles?

📄 arXiv: 2410.08885v1 📥 PDF

作者: Daichi Haraguchi, Naoto Inoue, Wataru Shimoda, Hayato Mitani, Seiichi Uchida, Kota Yamaguchi

分类: cs.CV, cs.GR

发布日期: 2024-10-11

备注: Accepted to SIGGRAPH Asia 2024 (Technical Communications Track)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

研究GPT在平面设计评估中的能力，对比设计原则启发式评估与人类标注。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 平面设计评估 大型语言模型 GPT模型 设计原则 启发式评估

📋 核心要点

  1. 现有研究假设大型多模态模型（LMMs）可以评估平面设计质量，但其可靠性未知，缺乏验证。
  2. 论文对比GPT评估与基于设计原则的启发式评估，并与人类标注对比，验证GPT评估平面设计质量的能力。
  3. 实验表明GPT在平面设计评估上与人类标注有较好相关性，且与基于设计原则的启发式指标相似。

📝 摘要（中文）

随着基础模型在平面设计生成方面的能力日益增强，一些研究开始利用大型多模态模型（LMMs）来评估平面设计，并假设LMMs能够正确评估其质量，但这种评估的可靠性尚不清楚。评估平面设计质量的一种方法是评估设计是否符合基本的设计原则，这是设计师的常见做法。本文通过使用从60名受试者收集的人工标注，比较了基于GPT的评估和基于设计原则的启发式评估的行为。实验表明，虽然GPT无法区分小的细节，但它们与人工标注具有相当好的相关性，并且表现出与基于设计原则的启发式指标相似的趋势，这表明它们确实能够评估平面设计的质量。数据集可在https://cyberagentailab.github.io/Graphic-design-evaluation 获取。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（特别是GPT系列）在平面设计评估任务中的能力验证问题。现有方法依赖于LMMs的假设能力，缺乏对其评估可靠性的系统性研究，尤其是在设计原则遵循方面的评估能力。现有方法的痛点在于缺乏客观的评估标准和与人类感知的对齐。

核心思路：论文的核心思路是通过对比GPT的评估结果、基于设计原则的启发式评估结果以及人类标注，来验证GPT在平面设计评估方面的能力。通过这种三方对比，可以更全面地了解GPT在多大程度上能够理解和应用设计原则，以及其评估结果与人类感知的差异。

技术框架：论文的技术框架主要包括以下几个步骤：1) 构建包含平面设计作品的数据集，并由人类专家进行标注；2) 使用GPT模型对数据集中的设计作品进行评估，输出评估结果；3) 使用基于设计原则的启发式算法对数据集中的设计作品进行评估，输出评估结果；4) 将GPT的评估结果、启发式评估结果和人类标注进行对比分析，评估GPT的性能。

关键创新：论文的关键创新在于首次系统性地研究了GPT模型在平面设计评估任务中的能力，并将其与基于设计原则的启发式评估和人类标注进行了对比。这种对比分析为理解GPT在设计领域的应用提供了新的视角，并为未来的研究方向提供了指导。

关键设计：论文的关键设计包括：1) 精心设计的数据集，包含各种类型的平面设计作品，并由多位人类专家进行标注，以保证标注的质量和可靠性；2) 选择合适的GPT模型，并对其进行适当的微调，以提高其在设计评估任务中的性能；3) 设计合理的启发式算法，以模拟设计原则在评估过程中的作用；4) 采用合适的评价指标，如相关系数等，来衡量GPT的评估结果与人类标注之间的相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT在平面设计评估方面与人类标注具有相当好的相关性，并且表现出与基于设计原则的启发式指标相似的趋势。虽然GPT无法区分小的细节，但其整体评估能力值得肯定。该研究为GPT在设计领域的应用提供了有力的证据。

🎯 应用场景

该研究成果可应用于自动化平面设计评估、设计辅助工具开发、以及设计教育等领域。通过利用GPT的评估能力，可以提高设计流程的效率，降低人工成本，并为设计师提供更客观的反馈。未来，该研究可以扩展到其他设计领域，如UI/UX设计、工业设计等，为人工智能在设计领域的应用提供更广阔的空间。

📄 摘要（原文）

Recent advancements in foundation models show promising capability in graphic design generation. Several studies have started employing Large Multimodal Models (LMMs) to evaluate graphic designs, assuming that LMMs can properly assess their quality, but it is unclear if the evaluation is reliable. One way to evaluate the quality of graphic design is to assess whether the design adheres to fundamental graphic design principles, which are the designer's common practice. In this paper, we compare the behavior of GPT-based evaluation and heuristic evaluation based on design principles using human annotations collected from 60 subjects. Our experiments reveal that, while GPTs cannot distinguish small details, they have a reasonably good correlation with human annotation and exhibit a similar tendency to heuristic metrics based on design principles, suggesting that they are indeed capable of assessing the quality of graphic design. Our dataset is available at https://cyberagentailab.github.io/Graphic-design-evaluation .