MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

📄 arXiv: 2603.09652v1 📥 PDF

作者: Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li

分类: cs.AI

发布日期: 2026-03-10

💡 一句话要点

提出MiniAppBench，评估LLM驱动助手中从文本到交互式HTML响应的转变

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 交互式应用生成 HTML应用 基准测试 自动化评估

📋 核心要点

  1. 现有基准测试主要关注算法正确性或静态布局，无法有效评估LLM生成交互式HTML应用的能力。
  2. MiniAppBench通过构建包含500个任务的综合基准，评估LLM在原则驱动的交互式应用生成方面的能力。
  3. MiniAppEval利用浏览器自动化进行类似人类的探索性测试，从意图、静态和动态三个维度评估应用质量。

📝 摘要（中文）

随着大型语言模型(LLM)在代码生成方面的快速发展，人机交互正从静态文本响应演变为动态的、基于HTML的交互式应用程序，我们称之为MiniApps。这些应用程序不仅需要模型渲染可视化界面，还需要构建符合现实世界原则的定制交互逻辑。然而，现有的基准主要关注算法正确性或静态布局重建，未能捕捉到这种新范式所需的能力。为了解决这一差距，我们推出了MiniAppBench，这是第一个旨在评估原则驱动的交互式应用程序生成的综合基准。MiniAppBench来源于一个拥有超过1000万次生成的真实应用程序，提炼了跨六个领域（例如，游戏、科学和工具）的500个任务。此外，为了应对评估开放式交互的挑战（因为不存在单一的ground truth），我们提出了MiniAppEval，一个agentic评估框架。它利用浏览器自动化执行类似人类的探索性测试，以系统地评估应用程序的三个维度：意图、静态和动态。我们的实验表明，当前的LLM在生成高质量MiniApps方面仍然面临重大挑战，而MiniAppEval表现出与人类判断的高度一致性，为未来的研究建立了可靠的标准。我们的代码可在github.com/MiniAppBench中找到。

🔬 方法详解

问题定义：论文旨在解决如何有效评估大型语言模型（LLM）生成交互式HTML应用（MiniApps）的能力。现有方法主要集中在算法正确性或静态布局重建，缺乏对交互逻辑和现实世界原则的考量，无法全面评估LLM在生成此类应用时的性能。

核心思路：论文的核心思路是构建一个综合性的基准测试集MiniAppBench，并设计一个自动化的评估框架MiniAppEval，以模拟人类用户与MiniApps的交互，从而全面评估LLM生成MiniApps的质量。这种方法强调了对意图理解、静态呈现和动态交互三个关键维度的评估。

技术框架：MiniAppBench包含500个任务，涵盖游戏、科学和工具等六个领域。MiniAppEval是一个agentic评估框架，它利用浏览器自动化技术，模拟人类用户对MiniApps进行探索性测试。评估过程包括以下步骤：1) 加载生成的MiniApp；2) 自动执行一系列操作（如点击、输入等）；3) 观察应用的状态变化；4) 根据预定义的规则和指标，评估应用的意图、静态呈现和动态交互。

关键创新：该论文的关键创新在于提出了MiniAppBench和MiniAppEval，这是首个针对LLM生成交互式HTML应用的综合性基准测试和评估框架。MiniAppEval通过浏览器自动化模拟人类交互，能够更全面、客观地评估LLM生成MiniApps的质量，解决了现有评估方法的局限性。

关键设计：MiniAppEval的关键设计包括：1) 定义了意图、静态和动态三个评估维度；2) 设计了一套基于规则和指标的评估体系，用于量化MiniApps的质量；3) 利用浏览器自动化技术，实现对MiniApps的自动探索性测试。具体参数设置和损失函数未知，网络结构也未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前LLM在生成高质量MiniApps方面仍面临挑战。MiniAppEval与人类判断高度一致，验证了其作为评估LLM生成交互式HTML应用能力的可靠性。具体性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于评估和改进LLM在生成交互式Web应用方面的能力，推动人机交互方式的演进。通过MiniAppBench和MiniAppEval，开发者可以更有效地评估和优化LLM生成的MiniApps，从而构建更智能、更易用的AI助手和应用。

📄 摘要（原文）

With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.