LabelFusion: Learning to Fuse LLMs and Transformer Classifiers for Robust Text Classification

📄 arXiv: 2512.10793v1 📥 PDF

作者: Michael Schlee, Christoph Weisser, Timo Kivimäki, Melchizedek Mashiku, Benjamin Saefken

分类: cs.CL, cs.AI

发布日期: 2025-12-11

💡 一句话要点

LabelFusion：融合LLM与Transformer分类器，实现鲁棒文本分类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本分类 大型语言模型 Transformer 模型融合 提示工程

📋 核心要点

  1. 现有文本分类方法难以兼顾准确性、成本和延迟，尤其是在跨领域应用中鲁棒性不足。
  2. LabelFusion融合Transformer分类器和LLM，利用各自优势，通过学习的方式进行集成，提升整体性能。
  3. 实验表明，LabelFusion在多个数据集上取得了优异的准确率，并能在准确性、延迟和成本之间进行权衡。

📝 摘要（中文）

LabelFusion是一种文本分类的融合集成方法，它学习如何将传统的基于Transformer的分类器（例如RoBERTa）与一个或多个大型语言模型（LLM，例如OpenAI GPT、Google Gemini或DeepSeek）相结合，从而在多类和多标签任务中提供准确且成本敏感的预测。该软件包提供了一个简单的高级接口（AutoFusionClassifier），通过最少的配置端到端地训练整个pipeline，并为高级用户提供灵活的API。在底层，LabelFusion通过将ML主干网络的嵌入与LLM导出的每类得分（通过结构化的提示工程策略获得）连接起来，整合来自两种来源的向量信号，并将这种联合表示输入到一个紧凑的多层感知器（FusionMLP）中，该感知器产生最终预测。这种学习到的融合方法捕捉了LLM推理和传统基于Transformer的分类器的互补优势，从而在各个领域产生强大的性能——在AG News上达到92.4%的准确率，在10类Reuters 21578主题分类上达到92.3%的准确率——同时实现了准确性、延迟和成本之间的实际权衡。

🔬 方法详解

问题定义：现有文本分类方法，尤其是基于Transformer的模型，虽然在特定领域表现出色，但在跨领域应用时鲁棒性不足。同时，直接使用大型语言模型（LLM）进行分类虽然具备一定的推理能力，但成本较高，延迟较大，且难以针对特定任务进行优化。因此，如何在准确性、成本和延迟之间取得平衡，并提升模型在不同领域的泛化能力，是本文要解决的问题。

核心思路：LabelFusion的核心思路是将传统Transformer分类器的判别能力与LLM的推理能力相结合，通过学习的方式融合二者的优势。Transformer分类器擅长提取文本特征，而LLM则具备丰富的知识和推理能力。通过融合二者的信息，可以提升模型在复杂场景下的分类性能。

技术框架：LabelFusion的整体架构包含以下几个主要模块：1) Transformer分类器：使用预训练的Transformer模型（如RoBERTa）提取文本嵌入；2) LLM：利用结构化的提示工程，获取LLM对每个类别的置信度得分；3) FusionMLP：将Transformer分类器的嵌入和LLM的类别得分连接起来，输入到一个多层感知器（MLP）中进行融合，最终输出预测结果。整个pipeline通过端到端的方式进行训练。

关键创新：LabelFusion的关键创新在于学习融合Transformer分类器和LLM的输出。与简单的集成方法（如投票）不同，LabelFusion通过FusionMLP学习二者之间的关系，从而更好地利用各自的优势。此外，结构化的提示工程也是一个重要的创新点，它使得LLM能够输出更可靠的类别得分。

关键设计：FusionMLP是一个紧凑的多层感知器，其输入是Transformer分类器的嵌入和LLM的类别得分的连接。损失函数采用交叉熵损失函数，优化器采用AdamW。结构化提示工程的设计需要根据具体的LLM和任务进行调整，目标是使得LLM能够输出准确且可信的类别得分。

📊 实验亮点

LabelFusion在AG News数据集上取得了92.4%的准确率，在10类Reuters 21578主题分类上取得了92.3%的准确率。实验结果表明，LabelFusion能够有效地融合LLM和Transformer分类器的优势，并在多个数据集上取得了显著的性能提升。此外，LabelFusion还能够在准确性、延迟和成本之间进行权衡，从而满足不同应用场景的需求。

🎯 应用场景

LabelFusion可应用于各种文本分类场景，例如新闻分类、情感分析、主题分类等。其潜在应用领域包括舆情监控、智能客服、内容推荐等。通过融合LLM和Transformer分类器的优势，LabelFusion能够提升文本分类的准确性和鲁棒性，并降低成本和延迟，从而具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

LabelFusion is a fusion ensemble for text classification that learns to combine a traditional transformer-based classifier (e.g., RoBERTa) with one or more Large Language Models (LLMs such as OpenAI GPT, Google Gemini, or DeepSeek) to deliver accurate and cost-aware predictions across multi-class and multi-label tasks. The package provides a simple high-level interface (AutoFusionClassifier) that trains the full pipeline end-to-end with minimal configuration, and a flexible API for advanced users. Under the hood, LabelFusion integrates vector signals from both sources by concatenating the ML backbone's embeddings with the LLM-derived per-class scores -- obtained through structured prompt-engineering strategies -- and feeds this joint representation into a compact multi-layer perceptron (FusionMLP) that produces the final prediction. This learned fusion approach captures complementary strengths of LLM reasoning and traditional transformer-based classifiers, yielding robust performance across domains -- achieving 92.4% accuracy on AG News and 92.3% on 10-class Reuters 21578 topic classification -- while enabling practical trade-offs between accuracy, latency, and cost.