From Behavior to Provenance: Attributing Tabular Foundation Models to Synthetic Pretraining Data
作者: Mohamed Bouadi, Nassim Bouarour, Shivam Dubey, Aditya Tanna, Vinay Kumar Sankarapu
分类: cs.LG
发布日期: 2026-10-01
💡 一句话要点
提出合成预训练数据的可追溯性方法以解决模型行为归因问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 训练数据归因 合成预训练 模型透明性 可解释性 O'PRIOR 行为条件归因 反事实再训练 来源干预
📋 核心要点
- 现有方法在训练数据归因方面面临挑战，因果影响难以观察，导致验证归因主张变得复杂。
- 本文提出通过合成预训练数据和O'PRIOR生成器，使得归因过程可实验性验证，提供明确的任务血统信息。
- 实验结果表明，去除高归因任务显著降低模型性能，而去除低归因任务则能提升性能，验证了方法的有效性。
📝 摘要（中文）
训练数据归因旨在识别哪些训练示例影响模型行为，但验证这些主张往往困难，因为因果训练影响很少可观察。本文提出通过控制合成预训练使归因实验可测试。利用O'PRIOR，一个富含来源信息的合成任务生成器，构建了一个测试平台，使每个预训练任务在结构机制、缺失性、混淆、捷径和分布转移上都有明确的血统。结合行为条件归因、反事实再训练和关注来源的干预，测试任务级忠实性和机制级一致性。在保留的真实任务中，去除前5%归因最高的合成任务使平均ROC-AUC下降0.013，而随机去除的结果为0.002±0.004，去除底部归因任务则提高性能0.003。针对捷径来源任务的有针对性去除效果为0.043，而匹配随机去除为0.016。尽管在排名AUROC上来源区分较为温和（0.55-0.62），但显著的top-k富集表明来源关联和干预忠实性不必一致。我们的结果确立了合成来源作为可验证贡献归因的受控环境。
🔬 方法详解
问题定义：本文旨在解决训练数据归因的验证难题，现有方法因缺乏可观察的因果影响而难以确认模型行为的来源。
核心思路：通过构建合成预训练数据集，使得每个任务的影响和来源信息明确，从而实现归因的实验性验证。
技术框架：整体架构包括合成任务生成、行为条件归因、反事实再训练和来源干预四个主要模块，形成闭环验证机制。
关键创新：最重要的创新在于利用合成数据的明确来源信息，使得归因过程可控且可验证，突破了传统方法的局限。
关键设计：在模型训练中，设置了特定的损失函数以优化归因效果，并设计了多种干预策略以评估任务级和机制级的一致性。通过这些设计，确保了实验结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，去除前5%归因最高的合成任务使平均ROC-AUC下降0.013，而随机去除的结果仅为0.002±0.004，去除底部归因任务则提升性能0.003，验证了合成预训练数据在归因中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器学习模型的透明性和可解释性，特别是在金融、医疗等对决策过程要求严格的行业。通过明确模型行为的来源，可以增强用户对模型的信任，并促进合规性和伦理标准的提升。
📄 摘要（原文）
Training-data attribution aims to identify which training examples shape model behavior, yet validating such claims is difficult because causal training influence is rarely observable. We argue that controlled synthetic pretraining makes attribution experimentally testable. Using O'PRIOR, a provenance-rich synthetic task generator for tabular foundation models, we construct a testbed in which every pretraining task carries explicit lineage over structural mechanisms, missingness, confounding, shortcuts, and distribution shift. We combine behavior-conditioned attribution with counterfactual retraining and provenance-aware interventions to test both task-level faithfulness and mechanism-level consistency. On held-out real tasks, removing the top-attributed 5% of synthetic tasks decreases mean ROC-AUC by 0.013, compared with 0.002$\pm$0.004 under random removal, while removing bottom-attributed tasks improves performance by 0.003. Within shortcut-provenance tasks, targeted removal yields an effect of 0.043 versus 0.016 for matched random removal. Provenance discrimination is more modest by ranking AUROC (0.55-0.62), despite substantial top-k enrichment, revealing that provenance association and interventional faithfulness need not coincide. Our results establish synthetic provenance as a controlled setting for verifiable contributive attribution