Next Best Action: Causal Constrained Offline RL for Business Action Targeting

📄 arXiv: 2610.26817v1 📥 PDF

作者: Surya Ramachandiran, Yiming Li, Juan Mancilla-Caceres, Tao Ye, Jun Liu

分类: cs.LG, cs.AI, cs.IR, math.OC

发布日期: 2026-10-19

备注: Accepted for oral presentation at the ACM RecSys 2026 Workshop on Online and Adaptive Recommender System (OARS)

💡 一句话要点

提出基于因果约束的离线强化学习以优化商业行动选择

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 因果推断 强化学习 约束优化 商业决策 客户干预 线性规划 生命周期价值 RFM模型

📋 核心要点

  1. 现有的NBA系统在选择客户干预时，难以同时满足经济价值最大化和复杂操作约束的要求。
  2. 本文提出将NBA问题形式化为约束马尔可夫决策过程，并通过线性规划整合因果校正，以优化决策过程。
  3. 在实际案例中，优化后的策略在客户生命周期价值上比基线提高了19%，展示了该方法的有效性。

📝 摘要（中文）

下一步行动（NBA）系统需在客户干预（如折扣、促销和生命周期行动）中进行选择，以最大化长期经济价值，满足复杂的操作约束，并保持因果基础。现有方法缺乏同时满足这些要求的严格框架。本文将NBA形式化为约束马尔可夫决策过程（CMDP），并将离线策略因果校正直接整合到CMDP的线性规划（LP）中。最终的策略基于客户状态选择行动，以最大化长期价值，同时明确执行商业约束。通过行业案例研究验证了该框架，优化后的策略在客户生命周期价值（LTV）上比估计的行为策略提高了19%。

🔬 方法详解

问题定义：本文旨在解决现有NBA系统在选择客户干预时无法同时满足经济价值最大化和复杂操作约束的问题。现有方法缺乏一个严谨的框架来共同满足这些要求。

核心思路：论文将NBA问题形式化为约束马尔可夫决策过程（CMDP），并通过线性规划（LP）整合离线因果校正，以优化客户干预的选择。这样的设计确保了策略在满足商业约束的同时，能够最大化长期经济价值。

技术框架：整体架构包括将客户状态定义为最近性、频率和货币（RFM）阶段，利用线性规划求解CMDP，整合因果校正的客户动态估计。主要模块包括状态表示、策略优化和约束执行。

关键创新：最重要的技术创新在于将因果校正直接融入CMDP的线性规划中，使得策略不仅能够优化长期价值，还能明确执行商业约束。这与现有方法的本质区别在于其因果基础和约束执行的结合。

关键设计：关键设计包括选择合适的损失函数以平衡长期价值和约束执行，采用线性规划求解策略优化问题，确保在给定的预算和状态表示下，策略能够有效提升客户生命周期价值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在行业案例研究中，优化后的策略在客户生命周期价值（LTV）上比估计的行为策略提高了19%，比短视基线提高了8%。尽管展示的行动空间为二元，但该框架具有通用性，适用于管理多种干预的决策系统。

🎯 应用场景

该研究的潜在应用领域包括电子商务、金融服务和客户关系管理等行业，能够帮助企业在复杂的市场环境中优化客户干预策略，提升客户价值和满意度。未来，该框架可扩展至其他类型的决策系统，具有广泛的实际价值和影响力。

📄 摘要（原文）

Next Best Action (NBA) systems must select among customer interventions (e.g., discounts, promotions, and lifecycle actions), maximize long-term economic value, satisfy complex operational constraints, and remain causally grounded. Existing approaches lack a rigorous framework for meeting these requirements jointly. We address this gap by formulating NBA as a Constrained Markov Decision Process (CMDP). We then integrate off-policy causal correction of the estimated customer dynamics directly into the Linear Programming (LP) formulation of the CMDP. The resulting policy selects actions based on customer states to maximize long-term value while explicitly enforcing business guardrails. Furthermore, the LP formulation yields shadow prices that quantify the economic trade-offs of operational constraints (e.g., fairness and user welfare), enhancing policy interpretability. We validate our proposed offline Reinforcement Learning (RL) framework on an industry case study involving rideshare coupon targeting, where customer states are defined by Recency, Frequency, and Monetary (RFM) stages. We evaluate performance using model-based off-policy evaluation, with causal dynamics estimated from a temporal holdout. Under the observed coupon budget and RFM state representation, our optimized policy improves customer lifetime value (LTV) by 19% over the estimated behavior policy and 8% over a myopic baseline. Although the demonstrated action space is binary, the proposed framework is action-agnostic, yielding a general-purpose decision module for targeting systems that manage multiple interventions.