Conformal Policy Learning with Distribution-Free Safety Guarantees
作者: Ying Jin, Naoki Egami
分类: stat.ME, cs.LG, econ.EM, math.ST, stat.ML
发布日期: 2026-09-15
💡 一句话要点
提出共形政策学习以解决安全保障问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 政策学习 安全保障 共形学习 反事实分析 观察性研究 AI干预 高风险决策
📋 核心要点
- 现有政策学习方法在高风险领域中未能有效控制对可能受害者的治疗分配，缺乏安全保障。
- 本文提出的共形政策学习（CPL）通过假设检验和共形p值阈值化来实现安全保障，避免了对结果建模的依赖。
- CPL在随机实验中提供有限样本安全保障，并在观察性研究中实现双重稳健性，实验结果显示其有效性和优越性。
📝 摘要（中文）
政策学习旨在根据个体特征决定治疗方案。在医学和公共政策等高风险领域，仅提高平均结果可能不足以满足决策者的需求，他们还需遵循“无伤害”的原则。本文提出了共形政策学习（CPL），这是一种具有新型分布无关安全保障的政策学习程序，控制对可能受到伤害的个体的治疗分配概率。CPL将每个治疗决策视为对反事实伤害的假设检验，并通过阈值化共形p值来分配治疗。这些p值利用可观察的代理变量和选择性校准来解决潜在结果无法同时观察的挑战。对于随机实验，CPL在标准可交换性条件下提供用户指定水平的有限样本安全保障，而不需要任何结果建模假设。此外，当结果模型被一致估计时，CPL在安全约束下实现渐近最优福利。在观察性研究中，CPL结合学习后平衡权重实现双重稳健的安全保障。我们通过广泛的模拟评估CPL，并将其应用于旨在减少阴谋信念的AI干预的实证研究。
🔬 方法详解
问题定义：本文解决的是在高风险决策中，如何有效控制对可能受害者的治疗分配问题。现有方法往往缺乏安全保障，无法满足“无伤害”的原则。
核心思路：论文提出共形政策学习（CPL），通过将治疗决策视为反事实伤害的假设检验，利用共形p值进行治疗分配，从而实现分布无关的安全保障。
技术框架：CPL的整体架构包括两个主要模块：首先是基于可观察代理变量的p值计算，其次是通过阈值化这些p值来进行治疗分配。该框架在随机实验和观察性研究中均适用。
关键创新：CPL的主要创新在于其分布无关的安全保障机制，能够在不依赖于结果建模假设的情况下，提供有限样本的安全保障。这与传统方法的依赖性形成了鲜明对比。
关键设计：CPL的设计包括选择性校准和学习后平衡权重等技术细节，这些设计确保了在观察性研究中实现双重稳健性，并提高了整体的安全保障水平。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CPL在随机实验中能够提供用户指定水平的有限样本安全保障，且在观察性研究中实现双重稳健性。与传统方法相比，CPL在安全保障方面表现出显著提升，确保了对可能受害者的有效保护。
🎯 应用场景
该研究的潜在应用领域包括医学、公共政策及其他高风险决策场景，能够为决策者提供更安全的治疗方案选择。通过有效控制对可能受害者的治疗分配，CPL有助于提升政策的社会效益和公众信任，未来可能在AI干预和社会科学研究中发挥重要作用。
📄 摘要（原文）
Policy learning aims to determine who should be treated based on individual characteristics. In high-stakes settings such as medicine and public policy where safety is a central concern, improving the average outcomes alone may not be sufficient: decision makers may also seek to protect individuals from harm, in line with the Hippocratic principle of ``do no harm.'' In this paper, we propose \textit{conformal policy learning} (CPL), a policy learning procedure with a new distribution-free safety guarantee that controls the probability of assigning treatment to an individual who would be harmed relative to control. CPL views each treatment decision as testing a hypothesis of counterfactual harm and assigns treatment by thresholding conformal p-values. These p-values use observable proxies and selective calibration to address the challenge that the potential outcomes under comparison are never simultaneously observed. For randomized experiments, under standard exchangeability conditions, CPL provides finite-sample safety guarantee at a user-specified level, without imposing any outcome modeling assumptions. Moreover, when the outcome model is consistently estimated, CPL achieves asymptotically optimal welfare subject to the safety constraint. In observational studies, CPL with learn-then-balance weights achieves doubly robust safety guarantees. We evaluate CPL through extensive simulations and apply it to an empirical study of AI-powered interventions designed to reduce conspiracy beliefs.