Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models
作者: Tian Zhou, Beverly Jin, Xue Wang, Linxiao Yang, Wenwei Wang, Bingqing Peng, Mengni Ye, Jinjie Gu, Liang Sun
分类: cs.LG
发布日期: 2026-09-23
💡 一句话要点
提出支持编译特征折叠以解决表格基础模型的内存问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格基础模型 特征选择 内存优化 推理框架 机器学习
📋 核心要点
- 现有的表格基础模型在特征交互方面存在内存消耗过大的问题，尤其是在列数较多时。
- 提出的支持编译特征折叠（SCFF）框架通过优化特征选择和编码过程，降低了内存使用而不影响模型性能。
- 在18个数据集的实验中，SCFF在准确性和负对数似然上均有显著提升，且内存节省效果显著。
📝 摘要（中文）
表格基础模型面临特征侧扩展的困境：全宽配对混合随着列数的增加呈平方增长，而特征选择通过丢弃证据来节省内存。本文提出了支持编译特征折叠（SCFF），这是一个无训练推理框架，能够在不改变冻结骨干网络的情况下解决这一困境。SCFF通过原生特征编码器的有界叶子路由支持排名特征，检查残余证据并在单一上下文预测之前合并编码消息。通过将平方特征交互工作转化为线性宽度工作，SCFF在18个数据集的广表切片上提升了数据集宏观准确性和负对数似然（NLL），并在所有六个评估的骨干网络上均有改善。
🔬 方法详解
问题定义：本文旨在解决表格基础模型在特征交互时内存消耗过大的问题，现有方法在处理高维特征时表现不佳，导致内存使用量急剧增加。
核心思路：支持编译特征折叠（SCFF）通过在推理阶段优化特征选择和编码过程，避免了传统方法中全宽配对混合的平方增长，从而实现了内存的有效利用。
技术框架：SCFF框架包括特征路由、残余证据检查和编码消息合并三个主要模块。特征路由通过支持排名特征选择最相关的特征，残余证据检查确保信息的完整性，最后合并编码消息以进行上下文预测。
关键创新：SCFF的核心创新在于将特征交互的平方复杂度转化为线性复杂度，且无需对模型进行重新训练或集成预测，这在现有方法中是前所未有的。
关键设计：SCFF设计了有界叶子结构以限制特征交互的范围，并通过支持检查机制来确保所选特征的有效性，此外，模型在不同数据集上保持了95%的数据集自助区间，显示出其稳定性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SCFF在18个数据集上均提升了数据集宏观准确性和负对数似然，内存节省效果显著，GPU内存节省达到2.09倍至2.36倍，最大峰值观察比率达到34.3倍，准确性提升幅度为4.06和3.72点，展现了其优越性能。
🎯 应用场景
该研究的潜在应用领域包括金融分析、医疗数据处理和市场营销等需要处理高维表格数据的场景。通过降低内存消耗，SCFF能够使得大型数据集的实时分析成为可能，提升决策效率和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Tabular foundation models face a feature-side scaling dilemma: full-width pairwise mixing grows quadratically with the number of columns, whereas feature selection saves memory by discarding evidence. We introduce Support-Compiled Feature Folding (SCFF), a training-free inference framework that resolves this dilemma without changing the frozen backbone. SCFF routes support-ranked features through bounded leaves of the native feature encoder, support-checks the residual evidence, and merges the encoded messages before a single contextual prediction. It thereby converts quadratic feature-interaction work into linear-in-width work with a bounded local working set, without ensembling predictions or training new parameters. On the exhaustive 18-dataset wide-table slice of fixed AMLB-29, TabZilla, and TabArena snapshots, SCFF improves dataset-macro accuracy and NLL on all six evaluated backbones. All four matched-width comparisons retain favorable 95 percent dataset-bootstrap intervals on locked folds, with relative error reductions up to 26.1 percent. Median paired GPU-memory savings are 2.09x to 2.36x, and the ratio of separately observed maximum peaks reaches 34.3x. Under a measured peak-memory ceiling, SCFF uses the saved budget to preserve more support-selected evidence, improving accuracy by 4.06 and 3.72 points over the widest feasible single leaf on predeclared wide-Core strata of TabICLv2 and TabPFN-3.