Residual-Based Causal Discovery via Pretrained In-Context Quantile Regression

📄 arXiv: 2610.29530v1 📥 PDF

作者: Daniel Klippert, Quang Nhat Huynh, Alexander Marx

分类: stat.ML, cs.LG

发布日期: 2026-10-21

💡 一句话要点

提出Loscar以解决LSNM中的残差因果发现问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果发现 残差分析 分位数回归 非参数估计 多变量分析

📋 核心要点

  1. 现有的LSNM方法依赖于参数假设来获得标准化残差，容易导致模型误设，影响因果发现的准确性。
  2. 本文提出Loscar，通过分位数回归实现对条件均值和尺度的非参数估计，克服了现有方法的局限性。
  3. 在双变量和多变量因果发现基准测试中，Loscar显著优于基于可行广义最小二乘法的变体，尤其在处理多变量原因时效果更佳。

📝 摘要（中文）

残差因果发现假设每个变量由其父节点和独立噪声源生成。现有的LSNM方法依赖于参数假设来获得标准化残差，存在模型误设的风险。为此，本文提出了Loscar，一个扩展RESIT的方法，通过分位数回归非参数估计条件均值和尺度，允许预训练的表格基础模型作为插件估计器。实验表明，Loscar在双变量和多变量因果发现基准测试中显著优于基于可行广义最小二乘法的变体，尤其在多变量原因的情况下表现突出。

🔬 方法详解

问题定义：本文旨在解决现有LSNM方法在因果发现中对参数假设的依赖，导致的模型误设问题。现有方法在处理复杂数据时，难以准确估计残差，影响因果推断的可靠性。

核心思路：Loscar通过分位数回归实现对条件均值和尺度的非参数估计，允许使用预训练的表格基础模型作为插件估计器，从而提高了模型的灵活性和准确性。

技术框架：Loscar框架包括数据预处理、分位数回归模型的构建、残差的非参数估计以及因果方向的识别等主要模块。通过迭代过程，逐步识别出因果关系中的汇聚节点。

关键创新：Loscar的主要创新在于将RESIT框架扩展到LSNM，采用非参数方法估计残差，避免了传统方法的参数假设限制，从而提高了因果发现的准确性和适用性。

关键设计：在模型设计中，Loscar使用分位数回归来估计条件均值和尺度，关键参数设置包括分位数选择和基础模型的选择，损失函数设计为适应非参数估计的需求，确保模型的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Loscar在双变量和多变量因果发现基准测试中表现出色，尤其在多变量原因的情况下，相较于可行广义最小二乘法，性能提升显著，具体提升幅度未知，表明其在复杂因果结构中的有效性。

🎯 应用场景

Loscar的研究成果在多个领域具有广泛的应用潜力，包括社会科学、经济学和生物医学等领域的因果推断。通过提供更准确的因果关系识别工具，能够帮助研究人员更好地理解变量之间的关系，从而推动相关领域的研究进展和政策制定。

📄 摘要（原文）

Residual-based causal discovery assumes that each variable is generated from its parents and an independent noise source. It estimates this noise and tests its independence from candidate causes. For identifiable functions such as additive-noise models (ANMs) and the broader class of location-scale noise models (LSNMs), this principle identifies the causal direction, as only the causal model admits this independence. Existing LSNM methods rely on parametric assumptions to obtain standardized residuals, risking model misspecification. In contrast, the RESIT-framework allows for nonparametric estimation of residuals to iteratively identify sink nodes, but was proposed for ANMs. To close this gap, we propose Loscar, an extension of RESIT to LSNMs that estimates the conditional mean and scale via quantile regression, enabling pretrained tabular foundation models as plug-in estimators. We compare it with a feasible generalized least squares (FGLS) variant, which is consistent given suitable basis functions. Across bivariate and multivariate causal-discovery benchmarks, in-context quantile regression substantially outperforms FGLS with flexible function classes, particularly for multivariate causes.