Large Language Models for Automated Cross-Domain Machine Learning Task Type Identification: A Benchmark Dataset and Evaluation

📄 arXiv: 2609.35335v1 📥 PDF

作者: Petros Tsialis, Steffen Limmer, Tobias Rodemann, Martin Heckmann

分类: cs.LG, cs.AI

发布日期: 2026-09-28

备注: 25 pages

期刊: International Conference on Automated Machine Learning (AutoML 26), September 2026, Ljubljana, Slovenia

💡 一句话要点

提出基于大语言模型的跨领域机器学习任务类型识别方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器学习 任务识别 大语言模型 自动化 数据集评估 跨领域学习 性能提升

📋 核心要点

  1. 现有的机器学习任务类型识别方法通常依赖于手动指定，效率低且易出错。
  2. 本文提出了一种基于大语言模型的自动化识别方法，能够从数据集信息中直接推断任务类型。
  3. 实验结果表明，LLM在不同设置下均表现优越，尤其是在表格数据集和跨领域评估中取得了显著提升。

📝 摘要（中文）

机器学习任务类型识别对于构建有效的机器学习管道至关重要，但在实际应用中通常需要手动指定。本文研究了大语言模型（LLMs）是否能够仅通过用户提供的目标特征，从数据集级别的信息中推断数据领域和下游预测任务。我们发布了一个包含625个公共表格和时间序列数据集的标注基准，并在三种设置下评估了所提出的方法。结果显示，LLM在任务类型识别上具有一致的优势，尤其是在异构和资源受限的环境中。LLM方法在表格数据集上超越了AutoGluon，F1宏值达到0.98，而AutoGluon为0.93。在跨领域设置中，最佳模型的F1宏值为0.90，而较小的本地可部署模型为0.75，表明了部署可行性与准确性之间的权衡。

🔬 方法详解

问题定义：本文旨在解决机器学习任务类型识别的自动化问题，现有方法依赖手动指定，效率低且容易出错。

核心思路：通过利用大语言模型（LLMs），直接从数据集级别的信息中推断数据领域和下游预测任务，减少人工干预。

技术框架：整体架构包括数据集输入模块、LLM推断模块和任务类型输出模块。输入模块接收用户提供的目标特征，LLM根据数据集信息进行推断，最终输出识别的任务类型。

关键创新：最重要的创新在于将大语言模型应用于任务类型识别，显著提高了识别的准确性和效率，尤其是在异构数据集和资源受限环境中。

关键设计：在模型设计中，采用了特定的参数设置和损失函数，以优化LLM的推断能力，并确保其在不同数据集上的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于LLM的方法在表格数据集上达到了0.98的F1宏值，相较于AutoGluon的0.93有显著提升。在跨领域评估中，最佳模型的F1宏值为0.90，而较小的本地模型则为0.75，展示了在不同环境下的有效性和可行性。

🎯 应用场景

该研究的潜在应用领域包括自动化机器学习（AutoML）、数据科学和数据分析等。通过自动识别任务类型，可以显著提高机器学习管道的构建效率，降低人工干预的需求，未来可能在各类数据驱动的决策系统中发挥重要作用。

📄 摘要（原文）

Machine learning task type identification is essential for constructing valid ML pipelines, yet in practice it is typically specified manually. We investigate whether large language models (LLMs) can infer both the data domain and the downstream prediction task directly from dataset-level information when only the target feature is provided by the user. Together with our LLM-based system we also release an annotated benchmark comprising 625 public tabular and time series datasets. We evaluate the proposed approach in three settings: (i) tabular datasets in comparison with established AutoML heuristics, (ii) cross-domain evaluation across tabular and time series datasets, and (iii) a practical deployment scenario using smaller local models. The results show consistent advantages for LLM-based task type identification, with increasing difficulty in heterogeneous and resource-constrained settings. LLM-based approaches outperform AutoGluon in the tabular setting, reaching 0.98 F1 macro compared to 0.93. In the cross-domain setting, the best model achieves 0.90 F1 macro, while smaller locally deployable models reach 0.75, indicating a trade-off between deployment feasibility and accuracy.