Detecting and Mitigating Treatment Leakage in Text-Based Causal Inference: Distillation and Sensitivity Analysis
作者: Adel Daoud, Richard Johansson, Connor T. Jerzak
分类: econ.EM, cs.CL, econ.GN, stat.ML
发布日期: 2025-12-30
💡 一句话要点
提出文本蒸馏方法，用于检测和缓解文本因果推断中的处理泄露问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 因果推断 处理泄露 文本蒸馏 偏差缓解 混杂因素
📋 核心要点
- 现有文本因果推断方法易受“处理泄露”偏差影响，即文本中包含预测处理状态的信号，导致因果估计偏差。
- 论文提出文本蒸馏方法，旨在消除文本中预测处理状态的内容，同时保留混杂因素信息，从而减轻处理泄露偏差。
- 通过合成文本模拟和实证应用验证，结果表明适度蒸馏能有效平衡偏差减少和混杂因素保留，提升估计精度。
📝 摘要（中文）
基于文本的因果推断越来越多地使用文本数据作为未观察到的混杂因素的代理，然而，这种方法引入了一种先前未被充分研究的偏差来源：处理泄露。当旨在捕获混杂信息的文本也包含预测处理状态的信号时，就会发生处理泄露，从而在因果估计中引入后处理偏差。关键是，即使文档在处理分配之前，也可能出现此问题，因为作者可能使用预期后续干预的未来参考语言。尽管人们越来越认识到这个问题，但目前还没有系统的方法来识别和减轻文本作为混杂因素应用中的处理泄露。本文通过三个贡献解决了这一差距。首先，我们提供了处理泄露的正式统计和集合论定义，阐明了偏差发生的时间和原因。其次，我们提出了四种文本蒸馏方法——基于相似性的段落移除、远程监督分类、显著特征移除和迭代零空间投影——旨在消除处理预测内容，同时保留混杂因素信息。第三，我们通过使用合成文本的模拟和一个考察国际货币基金组织结构调整计划和儿童死亡率的实证应用来验证这些方法。我们的研究结果表明，适度的蒸馏可以最佳地平衡偏差减少与混杂因素保留，而过于严格的方法会降低估计精度。
🔬 方法详解
问题定义：论文旨在解决文本因果推断中存在的“处理泄露”问题。现有方法直接将文本作为混杂因素的代理，但忽略了文本可能包含与处理状态相关的信号，从而导致因果估计产生偏差。这种偏差即使在文本早于处理分配时也可能发生，因为作者可能使用未来参考语言预示后续干预。现有方法缺乏系统性的检测和缓解处理泄露的机制。
核心思路：论文的核心思路是通过文本蒸馏，去除文本中与处理状态相关的预测性内容，同时尽可能保留与混杂因素相关的信息。通过降低文本对处理状态的预测能力，从而减轻处理泄露带来的偏差。核心在于找到一个平衡点，既能有效去除泄露信息，又不损失重要的混杂因素信息。
技术框架：论文提出了一个包含四个主要文本蒸馏方法的框架： 1. 基于相似性的段落移除：移除与处理状态相关的相似段落。 2. 远程监督分类：使用远程监督信号训练分类器，识别并移除预测处理状态的文本。 3. 显著特征移除：识别对处理状态预测贡献最大的特征，并将其移除。 4. 迭代零空间投影：通过迭代地将文本投影到与处理状态预测相关的零空间，去除处理预测信息。
关键创新：论文的关键创新在于系统性地提出了处理泄露的定义和缓解方法，并提供了多种文本蒸馏策略。与现有方法相比，该方法能够主动识别并去除文本中的处理预测信号，从而更有效地减轻偏差。此外，论文还强调了适度蒸馏的重要性，避免过度去除信息导致估计精度下降。
关键设计：四种蒸馏方法各有侧重，具体设计细节如下： * 基于相似性的段落移除：使用预训练语言模型计算文本相似度，设定阈值移除相似段落。 * 远程监督分类：使用处理状态作为标签，训练文本分类器，移除分类器预测为正例的文本。 * 显著特征移除：使用特征重要性分析方法（如LIME）识别关键特征，并将其从文本表示中移除。 * 迭代零空间投影：构建处理状态预测模型，计算其零空间，并将文本向量迭代投影到该零空间。
🖼️ 关键图片
📊 实验亮点
论文通过合成文本和真实数据集（国际货币基金组织结构调整计划与儿童死亡率）验证了所提出的文本蒸馏方法。实验结果表明，适度的蒸馏能够有效降低处理泄露带来的偏差，提高因果估计的准确性。与未进行蒸馏的方法相比，经过适当蒸馏的方法在偏差和方差之间取得了更好的平衡，从而获得了更可靠的因果效应估计。
🎯 应用场景
该研究成果可广泛应用于社会科学、经济学、医学等领域，凡是涉及使用文本数据进行因果推断的场景，都可能存在处理泄露问题。例如，分析新闻报道对政策的影响、社交媒体言论对健康行为的影响等。该方法有助于提高因果推断的准确性和可靠性，为政策制定和科学研究提供更可靠的依据。
📄 摘要（原文）
Text-based causal inference increasingly employs textual data as proxies for unobserved confounders, yet this approach introduces a previously undertheorized source of bias: treatment leakage. Treatment leakage occurs when text intended to capture confounding information also contains signals predictive of treatment status, thereby inducing post-treatment bias in causal estimates. Critically, this problem can arise even when documents precede treatment assignment, as authors may employ future-referencing language that anticipates subsequent interventions. Despite growing recognition of this issue, no systematic methods exist for identifying and mitigating treatment leakage in text-as-confounder applications. This paper addresses this gap through three contributions. First, we provide formal statistical and set-theoretic definitions of treatment leakage that clarify when and why bias occurs. Second, we propose four text distillation methods -- similarity-based passage removal, distant supervision classification, salient feature removal, and iterative nullspace projection -- designed to eliminate treatment-predictive content while preserving confounder information. Third, we validate these methods through simulations using synthetic text and an empirical application examining International Monetary Fund structural adjustment programs and child mortality. Our findings indicate that moderate distillation optimally balances bias reduction against confounder retention, whereas overly stringent approaches degrade estimate precision.