Optimal Sequential Annotations for Off-Policy Evaluation
作者: Woojin Chae, Ezinne Nwankwo, Haitong Qin, Angela Zhou
分类: stat.ME, cs.LG, stat.ML
发布日期: 2026-09-22
💡 一句话要点
提出优化序列标注方法以提升离线强化学习评估效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离线强化学习 离政策评估 序列标注 双重稳健 数据标注优化
📋 核心要点
- 现有的离线强化学习方法在处理复杂数据时面临标注成本高和偏见问题，影响评估的准确性。
- 本文提出了一种优化的序列标注方法，通过双重稳健的离政策评估来有效利用有限的标注预算。
- 在模拟实验和真实数据集上，本文方法在多个任务中显著降低了RMSE，证明了其有效性和实用性。
📝 摘要（中文）
离线强化学习和离政策评估基于回顾性收集的数据来评估动态治疗规则。近年来，状态和奖励信息以复杂文本或图像的形式记录，且可能受到未知偏见的影响。本文展示了如何在有限的真实数据标注预算下，通过双重稳健的离政策评估方法优化序列标注的概率。我们为前向单调标注协议特征化了最优标注概率，并提供了可行的批适应实现。我们的研究与一家无家可归服务非营利组织合作，旨在从个案记录数据中解锁可信推断，并回答如何通过扩展外展努力影响住房申请进展的问题。实验结果显示，在多个数据集上，标注预算为40%及以上时，RMSE降低幅度达到34-65%。
🔬 方法详解
问题定义：本文旨在解决在有限预算下进行离政策评估时，如何有效标注数据以减少评估偏差的问题。现有方法在处理复杂数据时，往往依赖昂贵的专家标注，且可能受到标注偏见的影响。
核心思路：我们提出了一种基于双重稳健离政策评估的方法，优化了序列标注的概率，以便在预算限制下最大化评估的准确性。这种方法能够在缺失奖励的情况下，依然有效地进行评估。
技术框架：整体架构包括数据收集、标注概率优化和评估三个主要模块。首先，收集回顾性数据；其次，利用优化算法确定最优标注概率；最后，基于标注数据进行离政策评估。
关键创新：本文的主要创新在于提出了前向单调标注协议下的最优标注概率特征化方法，这与现有方法的随机标注策略形成鲜明对比，显著提升了评估的稳健性。
关键设计：在实现过程中，我们设计了适应性批处理的标注策略，并在损失函数中引入了对标注偏见的校正机制，以确保评估结果的可靠性。具体参数设置和网络结构在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在多个实验中，本文方法在住房安置和住房申请进展任务上，RMSE分别降低了34-65%和17-68%。在LMArena数据集上，所有预算下的RMSE降低幅度均在55-62%之间，显示出方法的强大性能和广泛适用性。
🎯 应用场景
该研究的潜在应用领域包括社会服务、医疗决策和教育评估等，能够帮助机构在有限资源下做出更为准确的决策。通过优化标注过程，可以提高数据利用效率，降低成本，同时提升评估结果的可信度，具有重要的实际价值和社会影响。
📄 摘要（原文）
Offline reinforcement learning and off-policy evaluation evaluates dynamic treatment rules based on retrospectively collected data prior to deployment. In recent AI applications, state and reward information is recorded as complex text or image, which recent AI advancements such as LLM-as-a-judge can label with unknown bias. Expert annotation may be available but at a higher cost. For example, safety classification via cheap but imperfect classifiers vs. expensive expert review. We show how a limited budget for ground-truth data-annotation can be used via doubly-robust OPE with missing rewards, and we optimize variance-optimal annotation probabilities for sequential off-policy evaluation, where the target policy value is estimated from annotated data. We characterize the optimal annotation probabilities for sequential forward-monotone annotation protocols, and provide a feasible batch-adaptive implementation. Our work is motivated by a collaboration with a homelessness services nonprofit that writes casenotes for individuals over time. Our method can be used to unlock trustworthy inference from casenote data and answer new inferential questions such as: how does expanding outreach effort over time affect progress towards a housing application and improvement in housing placement? In simulations and on two real datasets - casenotes from the nonprofit and human-preference votes from LMArena - we see reductions in RMSE of 34-65% for housing placement and 17-68% for progress towards a housing application at budgets of 40% of full annotation and above, and by 55-62% at every budget on LMArena.