OrionMoE-v1.0: A Mixture-of-Experts Foundation Model for Tabular In-Context Learning

📄 arXiv: 2610.20418v1 📥 PDF

作者: Mohamed Bouadi, Nassim Bouarour, Aditya Tanna, Vinay Kumar Sankarapu

分类: cs.LG, cs.AI

发布日期: 2026-10-14

💡 一句话要点

提出OrionMoE-Small以解决表格数据学习中的稀疏计算问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据学习 混合专家模型 Transformer架构 稀疏计算 上下文学习

📋 核心要点

  1. 现有表格数据学习方法多依赖密集架构，无法有效处理异构数据集和特征。
  2. OrionMoE-Small通过稀疏混合专家计算和双轴Transformer架构，优化了计算资源的分配。
  3. 实验结果显示，OrionMoE-Small在多个基准测试中表现出色，尤其在小上下文和高维数据集上。

📝 摘要（中文）

表格基础模型通过从标记支持表中预测未见观察，实现了上下文学习，而无需特定任务的参数更新。尽管已有进展，但大多数现有方法依赖于在特征和数据集上应用相同变换的密集架构。本文提出OrionMoE-Small，一个紧凑的表格基础模型，结合了分布感知表示与数据集条件的稀疏专家混合计算。基于双轴Transformer架构，OrionMoE-Small在特征轴上选择性激活专家，路由决策由个别特征表示和更广泛的数据集上下文共同决定。该设计在保持任务共享计算路径的同时，实现了对异构表格问题的自适应计算分配。OrionMoE-Small完全在合成分类任务上进行预训练，并在不基于梯度的适应下执行下游预测。多项表格基准实验表明，其在小上下文和高维数据集上表现优异，尤其在类别不平衡情况下表现良好。

🔬 方法详解

问题定义：本文旨在解决现有表格基础模型在处理异构数据集时的计算效率低下问题。现有方法通常采用密集架构，无法适应不同特征和数据集的需求，导致性能瓶颈。

核心思路：OrionMoE-Small通过引入稀疏混合专家机制，结合分布感知表示，能够根据特征和数据集上下文自适应地激活计算资源，从而提高模型的灵活性和效率。

技术框架：该模型基于双轴Transformer架构，主要模块包括特征表示层、专家选择层和输出层。特征表示层负责提取特征，专家选择层根据上下文信息决定激活哪些专家，输出层生成最终预测。

关键创新：OrionMoE-Small的主要创新在于其稀疏混合专家计算方法，允许模型在不同任务间共享计算路径，同时根据特征的分布动态调整计算资源的分配。这与传统的密集模型形成鲜明对比。

关键设计：模型在预训练阶段完全基于合成分类任务，采用特定的损失函数和参数设置，以确保在下游任务中无需梯度适应即可进行有效预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个表格基准测试中，OrionMoE-Small的表现与更大规模的基础模型相当，尤其在小上下文和高维数据集上表现突出。实验结果显示，该模型在类别不平衡情况下的相对性能优越，验证了其设计的有效性。

🎯 应用场景

OrionMoE-Small在表格数据分析、金融预测、医疗数据处理等领域具有广泛的应用潜力。其高效的计算资源分配和强大的预测能力，使其能够处理复杂的异构数据集，提升决策支持系统的性能。未来，该模型可能推动更多领域的智能化数据分析。

📄 摘要（原文）

Tabular foundation models enable in-context learning by predicting unseen observations from a labeled support table without task-specific parameter updates. Despite recent advances, most existing approaches rely on dense architectures that apply the same transformations across features and datasets. We introduce OrionMoE-Small, a compact tabular foundation model that combines distribution-aware representations with dataset-conditioned sparse mixture-of-experts computation. Built on a dual-axis Transformer architecture, OrionMoE-Small selectively activates experts along the feature axis, with routing decisions informed by both individual feature representations and the broader dataset context. This design enables adaptive allocation of computation across heterogeneous tabular problems while retaining a shared computational pathway across tasks. OrionMoE-Small is pretrained entirely on synthetic classification tasks generated from a structured causal prior and performs downstream prediction without gradient-based adaptation. Experiments across multiple tabular benchmarks demonstrate competitive performance against substantially larger foundation models, with particularly strong results on small-context and high-dimensional datasets. Further analysis reveals favorable relative performance under class imbalance and highlights the importance of feature composition.