Closing the Context Gap: Activation Alignment for Tabular In-Context Learning
作者: Yoel Zeldes
分类: cs.LG, cs.AI
发布日期: 2026-10-05
备注: 14 pages, 4 figures, 1 table. Code: https://github.com/yoel-zeldes/tabalign
💡 一句话要点
提出激活对齐方法以解决表格模型的上下文成本问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格模型 上下文学习 激活对齐 推理效率 机器学习
📋 核心要点
- 现有表格基础模型在推理时需要处理所有训练示例，导致计算成本高昂，限制了实际应用。
- 本文提出激活对齐方法，通过训练轻量变换将部分上下文的模型激活对齐到完整上下文模型的激活，提升推理效率。
- 在38个分类数据集上实验表明，经过对齐的模型在性能上显著优于未对齐的基线，尤其在数据稀缺的情况下效果显著。
📝 摘要（中文）
表格基础模型通过在推理时依赖标记训练示例进行上下文学习。然而，传统模型在推理与训练中分离，而这些模型在每次前向传播中必须处理所有训练示例，导致预测成本高昂。为了解决这一问题，本文提出了一种激活对齐的方法，通过训练轻量线性变换，将使用部分上下文的“学生”模型的中间激活映射到使用完整上下文的“教师”模型的激活上。该方法在38个分类数据集上进行评估，结果显示，经过对齐的学生模型在所有上下文预算下均显著优于未对齐的基线，尤其在低数据环境中，能够恢复近一半教师模型的预测优势。
🔬 方法详解
问题定义：本文解决的是表格基础模型在推理时需处理所有训练示例所带来的高计算成本问题。现有方法在减少上下文示例时，性能会显著下降。
核心思路：提出激活对齐方法，通过训练一个轻量级线性变换，将使用部分上下文的“学生”模型的中间激活对齐到使用完整上下文的“教师”模型的激活，从而在保持性能的同时降低计算成本。
技术框架：整体架构包括两个主要模块：教师模型和学生模型。教师模型使用完整上下文进行训练，而学生模型在推理时使用部分上下文。通过训练激活对齐器，使学生模型的激活与教师模型的激活一致。
关键创新：最重要的创新点在于通过激活对齐技术，避免了丢弃上下文示例带来的性能损失，同时实现了推理速度的提升。与传统方法相比，激活对齐方法在计算效率和性能之间取得了更好的平衡。
关键设计：激活对齐器的训练不需要GPU，能够在普通硬件上快速收敛，训练时间从几秒到几分钟不等。损失函数设计为最小化学生模型和教师模型之间的激活差异，确保对齐效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过激活对齐的学生模型在38个分类数据集上均显著优于未对齐的基线，尤其在低数据环境中，能够恢复近50%的教师模型预测优势，证明了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗和市场分析等需要处理表格数据的领域。通过提高表格模型的推理效率和性能，能够在实际应用中更好地支持决策制定和数据分析，具有重要的实际价值和未来影响。
📄 摘要（原文）
Tabular foundation models perform in-context learning (ICL) by conditioning predictions on labeled training examples provided as context. Unlike traditional models that separate training from inference, these models must process all training examples in every forward pass, making each prediction expensive. Restricting the number of training examples reduces this cost but substantially degrades performance. Instead of discarding context, we propose activation alignment, a method that leverages the full context to teach a model how to behave when seeing only a subset. This is achieved by training a lightweight linear transformation on synthetic unlabeled data to map the intermediate activations of a data-constrained "student" (using partial context) toward those of a full-context "teacher" (using all data). Training the aligner requires no GPU and converges in seconds to minutes on commodity hardware. We evaluate on 38 classification datasets from the TabArena benchmark using the leading two tabular foundation models, TabPFN-3 and TabFM. Across all context budgets, the aligned student yields broad, statistically significant improvements over the unaligned baseline for both models. In low-data regimes, alignment recovers nearly half of the teacher's predictive advantage. The method provides a practical, low-overhead approach to achieving the inference speed of compact contexts while closing a significant fraction of the performance gap to the full-context teacher.