IncentRL: The Trade-Off Between Preference Guidance and Task Performance

📄 arXiv: 2609.21525v1 📥 PDF

作者: Xuening Wu, Yanlan Kang, Shenqin Yin

分类: cs.LG

发布日期: 2026-09-18

💡 一句话要点

提出IncentRL框架以解决偏好引导与任务性能之间的权衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好引导 强化学习 Kullback-Leibler惩罚 任务性能 马尔可夫决策过程 奖励塑形 MiniGrid

📋 核心要点

  1. 现有的偏好引导强化学习方法可能会改变优化目标，导致任务性能下降。
  2. IncentRL框架通过引入KL惩罚，明确偏好引导对外部任务性能的影响，保持原始任务目标。
  3. 在MiniGrid DoorKey-8x8环境中，IncentRL实现了98%的成功率，相较于基线提升了7.5%。

📝 摘要（中文）

基于偏好的奖励塑形可以指导强化学习，但将偏好信号添加到奖励中可能会无意中改变优化的任务。为了解决这一问题，本文提出了IncentRL框架，该框架在引入偏好引导的同时，明确表征其对外部任务性能的影响。IncentRL在指定的结果分布与偏好分布之间引入了Kullback-Leibler（KL）惩罚。针对有限折扣马尔可夫决策过程，本文推导了外部值扰动界限，建立了保持原始最优策略的充分严格行动间隙条件，并通过折扣累积偏好成本表征了大权重范围。实验结果显示，在MiniGrid DoorKey-8x8环境中，经过两百万步训练后，成功率达到98%。

🔬 方法详解

问题定义：本文解决的问题是如何在强化学习中有效引入偏好引导，而不改变原有的任务优化目标。现有方法在添加偏好信号时，可能会导致任务性能的下降。

核心思路：IncentRL框架的核心思路是通过引入KL惩罚项，明确区分偏好引导与任务性能之间的关系，从而在不扭曲原始目标的情况下，利用偏好信号提升学习效果。

技术框架：该框架包括几个主要模块：首先，定义偏好分布与结果分布；其次，计算KL惩罚；最后，结合外部值扰动界限进行策略优化。

关键创新：最重要的创新在于引入KL惩罚机制，明确了偏好引导对外部任务性能的影响，并提供了保持原始最优策略的条件，这与传统方法的设计理念有本质区别。

关键设计：在设计中，设置了固定的偏好分布和基于距离的结果代理，采用了分数加权系数搜索，并通过折扣累积偏好成本来表征大权重范围。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MiniGrid DoorKey-8x8环境中，IncentRL框架经过两百万步训练后，成功率达到了98%，相比于基线的90.5%提升了7.5%。这一结果表明，IncentRL能够有效利用偏好引导来提高任务性能，同时保持原始目标的完整性。

🎯 应用场景

IncentRL框架在强化学习领域具有广泛的应用潜力，尤其是在需要引入用户偏好的任务中，如推荐系统、游戏AI和自动驾驶等。通过有效地平衡偏好引导与任务性能，该框架能够提升学习效率和决策质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Preference-based reward shaping can guide reinforcement learning, but adding preference signals to the reward may unintentionally change the task being optimized. We address this problem with IncentRL, a framework that introduces preference guidance while explicitly characterizing its effect on external-task performance. IncentRL adds a Kullback--Leibler (KL) penalty between a specified outcome distribution and a preferred distribution. For finite discounted Markov decision processes with bounded shaping costs, we derive an external-value perturbation bound, establish a sufficient strict-action-gap condition for preserving the original optimal policy, and characterize the large-weight regime through discounted cumulative preference cost. Exact examples clarify the limits of these guarantees, including tied optima and support mismatch. We study a practical implementation using a hand-designed, distance-based outcome proxy, a fixed preference distribution, and score-weighted coefficient search. On MiniGrid DoorKey-8x8, the reported three-seed mean success rate after two million training steps reaches 98\% with coefficient 0.01, compared with 90.5\% for the reported zero-coefficient baseline, while the search progressively shifts toward smaller coefficients. Together, these results provide a principled view of the central trade-off in preference-based RL: using additional guidance to improve learning without excessively distorting the original task objective. The current experiments remain descriptive and do not yet isolate KL shaping from simpler alternatives.