Multitask-Informed Prior for In-Context Learning on Tabular Data: Application to Steel Property Prediction
作者: Dimitrios Sinodinos, Bahareh Nikpour, Jack Yi Wei, Sushant Sinha, Xiaoping Ma, Kashif Rehman, Stephen Yue, Narges Armanfard
分类: cs.LG
发布日期: 2026-03-24
💡 一句话要点
提出多任务学习先验的TabPFN，用于钢材性能预测的上下文学习。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多任务学习 表格数据 上下文学习 钢材性能预测 TabPFN 迁移学习 工业应用
📋 核心要点
- 现有钢材力学性能预测方法资源消耗大，且难以适应多变的生产条件，未能充分利用性能间的相关性。
- 通过微调TabPFN的先验，使其具备多任务学习能力，从而捕获钢材关键力学性能之间的跨属性关系。
- 实验结果表明，该方法在预测精度和计算效率上均优于传统机器学习方法和最新的表格学习模型。
📝 摘要（中文）
在薄板坯连铸连轧(TSDR)等热轧过程中，准确预测钢材的力学性能仍然具有挑战性，因为化学成分、工艺参数和最终微观结构之间存在复杂的相互作用。传统的经验和实验方法虽然有效，但通常资源密集，且缺乏对不同生产条件的适应性。此外，大多数现有方法没有明确利用关键力学性能之间的强相关性，错失了通过多任务学习提高预测准确性的机会。为了解决这个问题，我们提出了一个多任务学习框架，通过新颖的微调策略，将多任务感知注入到TabPFN（一种基于Transformer的表格数据上下文学习基础模型）的先验中。TabPFN最初是为单目标回归或分类而设计的，我们通过两种互补的方法增强了它的先验：（i）目标平均，提供与TabPFN单目标架构兼容的统一标量信号；（ii）任务特定适配器，在微调期间引入任务特定的监督。这些策略共同引导模型朝着多任务感知的先验发展，从而捕获关键力学指标之间的跨属性关系。在工业TSDR数据集上的大量实验表明，我们的多任务自适应方法在多个评估指标上优于经典的机器学习方法和最新的表格学习模型。值得注意的是，与任务特定的微调相比，我们的方法提高了预测精度和计算效率，表明多任务感知的先验自适应使表格数据的基础模型能够为TSDR中的自动化工业质量控制和过程优化提供可扩展、快速和可靠的部署。
🔬 方法详解
问题定义：论文旨在解决钢材热轧过程中力学性能预测不准确的问题。现有方法，如传统经验公式和实验方法，耗时耗力，且难以适应不同的生产条件。此外，现有方法通常独立预测各个力学性能，忽略了它们之间的内在关联，导致预测精度受限。
核心思路：论文的核心思路是将多任务学习的思想融入到表格数据的基础模型TabPFN中，使其能够同时预测多个相关的力学性能。通过学习不同任务之间的共享知识，提高模型的泛化能力和预测精度。
技术框架：整体框架基于TabPFN，这是一个用于表格数据上下文学习的Transformer模型。论文通过两种方式增强TabPFN的先验知识：1) 目标平均：将多个目标属性的值进行平均，得到一个统一的标量信号，作为TabPFN的输入。2) 任务特定适配器：在TabPFN的Transformer层之后添加小的、可训练的适配器模块，每个适配器对应一个特定的预测任务。
关键创新：论文的关键创新在于将多任务学习的思想融入到TabPFN的先验知识中。通过目标平均和任务特定适配器，模型能够学习到不同力学性能之间的共享知识，从而提高预测精度。与传统的单任务学习方法相比，该方法能够更好地利用数据中的信息。
关键设计：目标平均通过简单平均实现，旨在提供一个统一的输入信号。任务特定适配器通常是小型的前馈神经网络，其结构和参数量需要根据具体任务进行调整。损失函数通常是各个任务的预测误差的加权和，权重可以根据任务的重要性进行调整。
🖼️ 关键图片
📊 实验亮点
在工业TSDR数据集上的实验表明，该方法在多个评估指标上优于经典的机器学习方法和最新的表格学习模型。与任务特定的微调相比，该方法提高了预测精度和计算效率。实验结果表明，多任务感知的先验自适应能够显著提升表格数据基础模型的性能。
🎯 应用场景
该研究成果可应用于钢铁行业的自动化质量控制和过程优化，例如薄板坯连铸连轧(TSDR)过程。通过准确预测钢材的力学性能，可以优化生产参数，提高产品质量，降低生产成本。此外，该方法还可以推广到其他需要预测多个相关属性的工业领域。
📄 摘要（原文）
Accurate prediction of mechanical properties of steel during hot rolling processes, such as Thin Slab Direct Rolling (TSDR), remains challenging due to complex interactions among chemical compositions, processing parameters, and resultant microstructures. Traditional empirical and experimental methodologies, while effective, are often resource-intensive and lack adaptability to varied production conditions. Moreover, most existing approaches do not explicitly leverage the strong correlations among key mechanical properties, missing an opportunity to improve predictive accuracy through multitask learning. To address this, we present a multitask learning framework that injects multitask awareness into the prior of TabPFN--a transformer-based foundation model for in-context learning on tabular data--through novel fine-tuning strategies. Originally designed for single-target regression or classification, we augment TabPFN's prior with two complementary approaches: (i) target averaging, which provides a unified scalar signal compatible with TabPFN's single-target architecture, and (ii) task-specific adapters, which introduce task-specific supervision during fine-tuning. These strategies jointly guide the model toward a multitask-informed prior that captures cross-property relationships among key mechanical metrics. Extensive experiments on an industrial TSDR dataset demonstrate that our multitask adaptations outperform classical machine learning methods and recent state-of-the-art tabular learning models across multiple evaluation metrics. Notably, our approach enhances both predictive accuracy and computational efficiency compared to task-specific fine-tuning, demonstrating that multitask-aware prior adaptation enables foundation models for tabular data to deliver scalable, rapid, and reliable deployment for automated industrial quality control and process optimization in TSDR.