TaoD2C-Bench: Benchmarking MLLMs for Industrial UI Code Generation Beyond Visual Fidelity
作者: Chengwei Shi, Yunnong Chen, Tingting Zhou, Qiang Lu, Shiyu Yue, Xinyuan Hu, Jianfang Ru, Liuqing Chen
分类: cs.SE, cs.AI
发布日期: 2026-10-07
备注: 26 pages
💡 一句话要点
提出TaoD2C-Bench以解决工业UI代码生成中的多模态推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 工业UI代码生成 跨模态推理 TaoD2C-Bench 数据集构建 性能评估 用户界面设计
📋 核心要点
- 现有的多模态大语言模型在工业UI代码生成中，无法有效结合视觉信息与其他模态的信息，导致生成代码的准确性不足。
- 本文提出TaoD2C-Bench基准，旨在评估MLLMs在工业应用中生成符合实施要求的UI代码的能力，填补现有评估的空白。
- 通过对八个MLLMs的评估，发现它们在生成UI代码时存在显著性能差异，尤其是在推理和实现阶段的表现不一。
📝 摘要（中文）
多模态大语言模型（MLLMs）在工业设计到代码（D2C）中面临的关键挑战是超越视觉识别，实现约束感知的跨模态推理。本文提出TaoD2C-Bench，作为评估MLLMs生成符合实施要求的UI代码的基准。TaoD2C数据集包含来自17个商业平台的2861个生产设计，涵盖组件、组、对齐和位置四个类别的97652个专家注释。通过对八个MLLMs的评估，发现生成满足实施要求的UI代码存在显著差距，并且视觉重建能力并不一定意味着能够生成符合要求的代码。我们发布TaoD2C以支持工业UI代码生成的研究。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在工业UI代码生成中的不足，尤其是如何将视觉线索与领域特定规则结合，以满足实施要求。现有方法在真实工业环境中的评估不足，导致生成的代码无法满足实际需求。
核心思路：论文提出TaoD2C-Bench基准，通过构建一个包含丰富注释的数据集，帮助评估MLLMs在UI代码生成中的能力，特别是推理和实现的准确性。
技术框架：整体架构包括三个主要任务：端到端的UI代码生成、需求推理和需求实现。通过对数据集的多维度分析，评估模型在不同任务中的表现。
关键创新：最重要的创新点在于构建了一个包含丰富注释的TaoD2C数据集，明确区分了必需的约束与允许的实现选择，提供了一个系统化的评估标准。
关键设计：在数据集构建中，采用了来自17个商业平台的生产设计，确保了数据的多样性和代表性。注释涵盖了组件、组、对齐和位置四个类别，确保了模型评估的全面性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，评估的八个MLLMs在生成符合实施要求的UI代码方面存在显著差距，尤其在推理和实现阶段表现各异。具体而言，某些模型在推理任务中表现优异，但在实现阶段的代码生成能力不足，反映出视觉重建能力与代码生成能力之间的脱节。
🎯 应用场景
该研究的潜在应用领域包括工业设计、软件开发和用户界面自动化生成等。通过提高MLLMs在UI代码生成中的准确性和效率，能够显著降低开发成本，提升产品开发的速度和质量，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
A key challenge for multimodal large language models (MLLMs) is moving beyond visual recognition to constraint-aware cross-modal reasoning. This involves combining visual cues with information from other modalities to understand elements' relationships under domain-specific rules. This challenge is acutely evident in industrial design-to-code (D2C), which converts user interface (UI) designs into code and requires MLLMs to connect design images with disorganized layer metadata, infer component and layout implementation requirements, and realize them in code under target-library constraints. However, these capabilities remain insufficiently evaluated in realistic industrial settings. To fill this gap, we present TaoD2C-Bench, a benchmark for evaluating MLLMs' ability to generate UI code that satisfies implementation requirements in industrial applications. The TaoD2C dataset consists of 2,861 production designs from 17 commercial platforms with 97,652 expert annotations across four categories: Component, Group, Alignment, and Position. These annotations distinguish required constraints from permitted implementation choices. TaoD2C-Bench defines three tasks: end-to-end UI code generation, requirement inference, and requirement realization. Evaluating eight MLLMs reveals substantial gaps in generating UI code that satisfies implementation requirements, alongside distinct performance profiles in inference and realization. We further show that MLLMs' visual reconstruction ability does not necessarily imply an ability to generate code that meets these requirements. We release TaoD2C to support research on industrial UI code generation.