Curate-Train-Refine: A Closed-Loop Agentic Framework for Zero Shot Classification

📄 arXiv: 2601.16530v1 📥 PDF

作者: Gaurav Maheshwari, Kevin El Haddad

分类: cs.CL, cs.LG

发布日期: 2026-01-23

💡 一句话要点

提出Curate-Train-Refine框架，利用LLM动态生成监督信号进行零样本分类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本分类 大型语言模型 数据增强 轻量级模型 闭环优化

📋 核心要点

  1. 现有零样本/少样本分类依赖大型模型，推理成本高、延迟大，难以实际部署。
  2. 提出Curate-Train-Refine框架，利用LLM动态生成高质量训练数据，训练轻量级分类器。
  3. 实验表明，该方法在多个基准测试中优于标准零样本/少样本基线，降低了部署成本。

📝 摘要（中文）

大型语言模型（LLMs）和高容量编码器在零样本和少样本分类方面取得了显著进展，但其推理成本和延迟限制了实际部署。本文提出了一种训练轻量级文本分类器的方法，该方法利用LLM动态生成的监督信号。我们的方法采用迭代的、agentic的循环，其中LLM负责管理训练数据，分析模型的成功和失败案例，并合成有针对性的示例来解决观察到的错误。这种闭环生成和评估过程逐步提高数据质量，并使其适应下游分类器和任务。在四个广泛使用的基准测试中，我们的方法始终优于标准的零样本和少样本基线。这些结果表明，LLM可以有效地作为数据管理者，从而实现准确高效的分类，而无需大型模型部署的运营成本。

🔬 方法详解

问题定义：现有零样本和少样本分类方法依赖于大型语言模型（LLMs）或高容量编码器，虽然取得了不错的性能，但其高昂的推理成本和延迟限制了它们在实际应用中的部署。因此，需要一种方法，能够在不牺牲性能的前提下，降低模型的计算复杂度，实现高效的零样本分类。

核心思路：本文的核心思路是利用LLM作为数据管理者，动态生成高质量的训练数据，然后使用这些数据来训练轻量级的文本分类器。通过迭代的闭环优化过程，LLM能够根据模型的表现，不断改进生成的数据，从而提高分类器的性能。这种方法避免了直接部署大型模型，降低了推理成本。

技术框架：Curate-Train-Refine框架包含以下三个主要阶段： 1. Curate (数据管理)：LLM根据任务需求，生成初始训练数据集。 2. Train (模型训练)：使用生成的数据集训练一个轻量级的文本分类器。 3. Refine (数据优化)：LLM分析分类器的表现，识别错误样本，并生成新的、有针对性的训练样本，以纠正这些错误。这个过程迭代进行，直到分类器的性能达到预定的目标。

关键创新：该方法最重要的创新点在于利用LLM的生成能力，构建了一个闭环的、agentic的训练框架。LLM不仅生成训练数据，还负责分析模型的表现，并根据分析结果改进数据。这种动态数据生成和优化过程，使得轻量级分类器能够获得与大型模型相媲美的性能。与传统的静态数据集训练方法相比，该方法能够更好地适应下游任务和分类器的特点。

关键设计：在数据管理阶段，LLM需要根据任务的类别定义和一些示例，生成具有代表性的训练样本。在数据优化阶段，LLM需要分析分类器的预测结果，识别错误分类的样本，并生成新的样本来纠正这些错误。这可能涉及到使用不同的prompting策略，或者使用LLM进行数据增强。具体的参数设置和损失函数取决于所使用的轻量级分类器的类型。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，Curate-Train-Refine框架在四个广泛使用的基准测试中，始终优于标准的零样本和少样本基线。具体性能提升幅度未知，但论文强调该方法能够在保证分类准确率的同时，显著降低模型的计算复杂度，从而降低部署成本。

🎯 应用场景

该研究成果可广泛应用于文本分类任务，例如情感分析、主题分类、垃圾邮件检测等。通过利用LLM动态生成训练数据，可以降低模型部署成本，提高推理效率，尤其适用于资源受限的场景。未来，该方法可以扩展到其他类型的分类任务，例如图像分类和语音分类。

📄 摘要（原文）

Large language models (LLMs) and high-capacity encoders have advanced zero and few-shot classification, but their inference cost and latency limit practical deployment. We propose training lightweight text classifiers using dynamically generated supervision from an LLM. Our method employs an iterative, agentic loop in which the LLM curates training data, analyzes model successes and failures, and synthesizes targeted examples to address observed errors. This closed-loop generation and evaluation process progressively improves data quality and adapts it to the downstream classifier and task. Across four widely used benchmarks, our approach consistently outperforms standard zero and few-shot baselines. These results indicate that LLMs can serve effectively as data curators, enabling accurate and efficient classification without the operational cost of large-model deployment.