RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development
作者: Yuchi Wang, Rongyao Fang, Weihao Yu, Xilin Wei, Tiancheng Gu, Dingkang Yang, Hang Zhang, Dayiheng Liu, Hongsheng Li, Shuai Bai
分类: cs.CL, cs.AI, cs.CV
发布日期: 2026-10-19
备注: Project page: https://wangyuchi369.github.io/refcraft/
💡 一句话要点
提出RefCraft基准以解决视觉参考条件下的生成挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 网页开发 多模态生成 视觉参考 AI代理 自然语言处理
📋 核心要点
- 现有方法主要集中于从文本生成网页，忽视了从视觉示例进行开发的实际需求，导致生成效果不理想。
- 论文提出RefCraft基准，通过结合自然语言指令与多个参考网页截图，评估AI代理在网页开发中的表现。
- 实验结果显示，当前模型在该基准下的最高得分仅为52.12，表明视觉参考条件下的生成仍面临重大挑战。
📝 摘要（中文）
在基本工具使用和编码技能之外，将视觉参考有效融入自主生成对于将AI代理应用于现实生产任务同样至关重要。我们通过网页开发这一实际且易于评估的场景研究这一关键能力，现有基准大多理想化，通常专注于重建视觉目标或仅从文本指令生成网页，忽视了从视觉示例开发的更常见工作流程。我们引入RefCraft基准，包含300个现实的多模态网页开发任务，结合自然语言指令和1至5个参考网页的截图。代理必须选择性地解释和利用这些参考，同时渲染、视觉检查并迭代优化其输出。通过独立可验证的关键点和补充的程序性及视觉语言模型评估生成的开放式工件。九个前沿（M）LLM中，最强系统的整体得分仅为52.12分（满分100），显示出视觉参考条件下的自主生成仍然是当前模型在实际网页开发环境中的重大挑战。
🔬 方法详解
问题定义：本论文旨在解决AI代理在网页开发中如何有效利用视觉参考的问题。现有方法往往忽视了从视觉示例进行开发的实际工作流程，导致生成质量不高。
核心思路：论文的核心思路是引入RefCraft基准，通过结合自然语言指令与多个网页截图，促使AI代理在生成过程中更好地理解和利用视觉信息。这样的设计旨在模拟真实的网页开发环境，提高生成的实用性和准确性。
技术框架：整体架构包括任务定义、视觉参考解析、生成过程和结果评估四个主要模块。代理首先接收自然语言指令和视觉参考，然后进行信息解析，最后生成网页并进行迭代优化。
关键创新：RefCraft基准的最大创新在于其多模态任务设计，结合了自然语言和视觉信息，突破了传统方法仅依赖文本的局限性。这一设计使得生成过程更贴近实际应用场景。
关键设计：在参数设置上，论文使用了多种视觉参考的组合（1至5个网页截图），并设计了独立可验证的评估指标，以确保生成结果的客观性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前在RefCraft基准下的最强系统得分仅为52.12（满分100），显示出在视觉参考条件下的生成能力仍然存在显著不足。这一结果强调了该领域的研究价值和未来改进的必要性。
🎯 应用场景
该研究的潜在应用领域包括网页开发、在线内容生成和用户界面设计等。通过提升AI代理在视觉参考条件下的生成能力，可以显著提高生产效率，降低人工干预的需求，推动智能化工具在实际工作中的应用。未来，该方法有望扩展到其他多模态生成任务，进一步提升AI在复杂场景下的表现。
📄 摘要（原文）
Beyond basic tool use and coding skills, effectively incorporating visual references into agentic generation is equally essential for applying AI agents to real-world productivity tasks. We study this crucial capability through webpage development, a practical and readily evaluable setting in which existing benchmarks remain largely idealized: they typically focus on reconstructing visual targets or generating webpages from textual instructions alone, overlooking the more common workflow of developing from visual examples. Specifically, we introduce RefCraft, a benchmark comprising 300 realistic multimodal webpage-development tasks that combine natural-language instructions with screenshots from one to five reference webpages. Agents must selectively interpret and utilize these references while rendering, visually inspecting, and iteratively refining their outputs. We evaluate the resulting open-ended artifacts using independently verifiable keypoints and complementary programmatic and VLM judges. Across nine frontier (M)LLMs, the strongest system achieves an overall score of only 52.12 out of 100, revealing that visual-reference-conditioned agentic generation remains a substantial challenge for current models in practical webpage-development settings.