STELLAR-E: a Synthetic, Tailored, End-to-end LLM Application Rigorous Evaluator

📄 arXiv: 2604.24544v1 📥 PDF

作者: Alessio Sordo, Lingxiao Du, Meeka-Hanna Lenisa, Evgeny Bogdanov, Maxim Romanovsky

分类: cs.AI, cs.CL

发布日期: 2026-04-27

💡 一句话要点

STELLAR-E：提出一种全自动的、可定制的LLM应用评测数据集生成框架。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 LLM评估 合成数据生成 自动化基准测试 Self-Instruct 领域自适应 质量保证

📋 核心要点

  1. 现有LLM评估数据集构建面临隐私、成本和领域限制，阻碍了LLM在特定场景下的有效评估。
  2. STELLAR-E提出了一种全自动合成数据生成框架，通过改进Self-Instruct方法，实现可控、定制的数据集生成。
  3. 实验表明，STELLAR-E生成的合成数据集在LLM评估中表现出与真实数据集相当的质量，并能有效评估大小型LLM。

📝 摘要（中文）

随着各行各业对大型语言模型（LLM）的依赖日益增加，迫切需要强大的、特定领域和语言的评估数据集。然而，由于隐私问题、监管限制以及手动创建的时间成本，此类数据集的收集面临挑战。现有的自动基准测试方法通常受限于依赖预先存在的数据、可扩展性差、单领域关注以及缺乏多语言支持。我们提出了STELLAR-E，一个全自动系统，用于生成自定义大小的高质量合成数据集，使用最少的人工输入，且不依赖于现有数据集。该系统分为两个阶段：（1）我们修改了TGRT Self-Instruct框架，以创建一个合成数据引擎，从而实现可控的、定制的合成数据集生成；（2）一个评估管道，结合了统计和基于LLM的指标，以评估合成数据集对基于LLM的应用评估的适用性。合成数据集在LLM-as-a-judge评分方面，与现有的特定语言基准相比，平均差异为+5.7%，表明其质量相当，可用于全面评估大型和小型LLM。虽然真实数据集对LLM（尤其是较小的模型）来说仍然更具挑战性，但这项工作建立了一个可扩展且领域可适应的基准测试框架，该框架支持对LLM应用进行公平评估，提供了一种比手动方法更快的替代方案，并实现了高效的自动化质量保证周期。

🔬 方法详解

问题定义：论文旨在解决LLM应用评估中，特定领域和语言的数据集匮乏问题。现有数据集构建方法，如人工标注，成本高昂且难以扩展；依赖现有数据集的自动化方法，则受限于数据质量和领域覆盖度。因此，需要一种能够低成本、高效率地生成高质量、可定制评估数据集的方法。

核心思路：STELLAR-E的核心思路是利用LLM自身的能力，通过改进的Self-Instruct框架，自动生成合成数据集。通过控制生成过程中的指令和约束，可以定制数据集的规模、领域和语言，从而满足不同LLM应用评估的需求。这种方法避免了对现有数据集的依赖，降低了数据收集成本，并提高了数据集的多样性和可控性。

技术框架：STELLAR-E系统由两个主要阶段组成：(1) 合成数据引擎：基于TGRT Self-Instruct框架，通过修改指令生成和数据过滤策略，生成高质量的合成数据。用户可以自定义数据集的规模、领域和语言。(2) 评估管道：利用统计指标和基于LLM的指标，评估合成数据集的质量和适用性。评估指标包括数据分布、多样性和LLM在合成数据集上的性能。

关键创新：STELLAR-E的关键创新在于其全自动化的合成数据生成流程和可定制的数据集生成能力。与传统的依赖人工标注或现有数据集的方法相比，STELLAR-E能够以更低的成本和更高的效率生成高质量、特定领域的评估数据集。此外，STELLAR-E的评估管道能够有效评估合成数据集的质量，确保其适用于LLM应用评估。

关键设计：在合成数据引擎中，论文修改了TGRT Self-Instruct框架的指令生成策略，引入了领域相关的指令模板，以提高生成数据的领域相关性。同时，采用了基于LLM的数据过滤策略，过滤掉低质量或不符合要求的合成数据。在评估管道中，论文采用了多种统计指标和基于LLM的指标，如困惑度、BLEU分数和LLM-as-a-judge评分，以全面评估合成数据集的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STELLAR-E生成的合成数据集在LLM-as-a-judge评分方面，与现有的特定语言基准相比，平均差异为+5.7%，表明其质量相当。虽然真实数据集对小型LLM来说仍然更具挑战性，但STELLAR-E为LLM应用评估提供了一种可扩展且领域可适应的替代方案。

🎯 应用场景

STELLAR-E可应用于各种LLM应用的评估，例如机器翻译、文本摘要、问答系统等。该框架能够为特定领域和语言的LLM应用提供定制化的评估数据集，从而提高评估的准确性和可靠性。此外，STELLAR-E还可以用于LLM的持续集成和持续部署（CI/CD）流程中，实现自动化质量保证。

📄 摘要（原文）

The increasing reliance on Large Language Models (LLMs) across diverse sectors highlights the need for robust domain-specific and language-specific evaluation datasets; however, the collection of such datasets is challenging due to privacy concerns, regulatory restrictions, and the time cost for manual creation. Existing automated benchmarking methods are often limited by relying on pre-existing data, poor scalability, single-domain focus, and lack of multilingual support. We present STELLAR-E - a fully automated system to generate high-quality synthetic datasets of custom size, using minimal human inputs without depending on existing datasets. The system is structured in two stages: (1) We modify the TGRT Self-Instruct framework to create a synthetic data engine that enables controllable, custom synthetic dataset generation, and (2) an evaluation pipeline incorporating statistical and LLM-based metrics to assess the applicability of the synthetic dataset for LLM-based application evaluations. The synthetic datasets reach an average difference of +5.7% in terms of LLM-as-a-judge scores against existing language-specific benchmarks, demonstrating comparable quality for comprehensive assessment of big and small LLMs. While real datasets remain slightly more challenging for LLMs especially for smaller models, this work establishes a scalable and domain-adaptable benchmarking framework that supports fair evaluation of LLM applications, offering a faster alternative to manual approaches and enabling high-efficiency automated quality assurance cycles.