A Comparative Study of Dynamic Programming and Reinforcement Learning in Finite Horizon Dynamic Pricing

📄 arXiv: 2604.14059v1 📥 PDF

作者: Lev Razumovskiy, Nikolay Karenin

分类: econ.GN, cs.LG

发布日期: 2026-04-15

💡 一句话要点

对比动态规划与强化学习在有限期动态定价中的性能与权衡

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态定价 强化学习 动态规划 拟合动态规划 有限期 多产品类型 约束优化

📋 核心要点

  1. 现有动态定价方法在处理复杂环境，如多产品类型和约束时，面临维度灾难和计算复杂度挑战。
  2. 论文核心在于对比拟合动态规划和强化学习在不同复杂度的动态定价场景下的性能，揭示二者优劣。
  3. 实验评估了收入、稳定性、约束满足和计算效率，突出了两种方法在不同场景下的权衡取舍。

📝 摘要（中文）

本文系统地比较了拟合动态规划（DP）和强化学习（RL）方法在有限期动态定价问题中的应用。其中，动态规划的需求是从数据中估计得到的。我们分析了它们在结构复杂度不断增加的环境中的性能，从单一类型基准到具有异构需求和跨期收入约束的多类型设置。与将DP限制在低维设置的简化比较不同，我们在更丰富的多维环境中应用动态规划，包括多种产品类型和约束。我们评估了收入表现、稳定性、约束满足行为和计算规模，突出了基于显式期望的优化和基于轨迹的学习之间的权衡。

🔬 方法详解

问题定义：论文旨在解决有限期动态定价问题，特别是在具有异构需求和跨期收入约束的多产品类型场景下。现有方法，尤其是传统的动态规划，在处理高维度状态空间时面临计算复杂度过高的问题，而强化学习方法虽然能处理高维问题，但在稳定性和约束满足方面可能存在不足。

核心思路：论文的核心思路是通过对比拟合动态规划（Fitted DP）和强化学习（RL）在不同复杂度的动态定价环境下的表现，来揭示两种方法的优缺点和适用场景。Fitted DP通过从数据中估计需求函数来解决动态规划中的维度灾难问题，而RL则通过与环境的交互学习最优策略。

技术框架：整体框架包括以下几个阶段：1) 定义动态定价环境，包括需求函数、价格空间、时间范围和约束条件；2) 分别实现Fitted DP和RL算法；3) 在不同复杂度的环境中（单产品类型、多产品类型、带约束等）训练和测试算法；4) 评估算法的性能指标，包括收入、稳定性、约束满足情况和计算时间。

关键创新：论文的关键创新在于对Fitted DP和RL进行了系统性的比较，特别是在多产品类型和带约束的复杂环境中。以往的研究通常只关注单一方法或在简化场景下进行比较。本文通过实验揭示了两种方法在不同场景下的权衡取舍，为实际应用提供了指导。

关键设计：Fitted DP的关键设计在于如何有效地估计需求函数。论文可能采用了某种回归方法（例如线性回归、神经网络等）来拟合需求函数。RL的关键设计在于选择合适的算法（例如Q-learning、SARSA、Actor-Critic等）和探索策略（例如ε-greedy、Softmax等）。此外，对于带约束的场景，可能需要设计特定的奖励函数或约束处理机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验对比了Fitted DP和RL在不同复杂度的动态定价环境下的性能。实验结果表明，在低维度环境下，Fitted DP通常能获得更好的性能，但在高维度环境下，RL可能更具优势。此外，论文还分析了两种方法在约束满足和计算效率方面的差异，为实际应用提供了有价值的参考。

🎯 应用场景

该研究成果可应用于零售、电商、航空、酒店等多个行业的动态定价策略优化。通过选择合适的动态定价方法，企业可以最大化收入、提高运营效率，并更好地满足各种业务约束。该研究也为未来动态定价算法的设计和选择提供了理论指导。

📄 摘要（原文）

This paper provides a systematic comparison between Fitted Dynamic Programming (DP), where demand is estimated from data, and Reinforcement Learning (RL) methods in finite-horizon dynamic pricing problems. We analyze their performance across environments of increasing structural complexity, ranging from a single typology benchmark to multi-typology settings with heterogeneous demand and inter-temporal revenue constraints. Unlike simplified comparisons that restrict DP to low-dimensional settings, we apply dynamic programming in richer, multi-dimensional environments with multiple product types and constraints. We evaluate revenue performance, stability, constraint satisfaction behavior, and computational scaling, highlighting the trade-offs between explicit expectation-based optimization and trajectory-based learning.