Evaluating Feature Dependent Noise in Preference-based Reinforcement Learning
作者: Yuxuan Li, Harshith Reddy Kethireddy, Srijita Das
分类: cs.LG, cs.AI
发布日期: 2026-01-05
💡 一句话要点
评估偏好强化学习中特征依赖噪声的影响，揭示现有噪声鲁棒方法的局限性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 偏好强化学习 特征依赖噪声 噪声鲁棒性 连续控制 深度强化学习
📋 核心要点
- 现有偏好强化学习方法在处理复杂任务时，面临着偏好数据中噪声类型单一、与观测关联不足的挑战。
- 论文提出形式化的特征依赖噪声概念，并设计了多种噪声变体，旨在更真实地模拟实际应用中的噪声情况。
- 实验表明，现有噪声鲁棒的偏好强化学习方法在特征依赖噪声下性能显著下降，而无显式去噪的方法有时表现更好。
📝 摘要（中文）
偏好强化学习(PbRL)在复杂任务中越来越受到关注，因为它非常适合奖励函数不易获得的情况。然而，如果偏好并非来自完美的教师，它们通常带有不确定性和噪声。许多先前的文献旨在检测噪声，但类型有限，并且大多数是均匀分布的，与观察结果没有联系。本文形式化了目标特征依赖噪声的概念，并提出了几种变体，如轨迹特征噪声、轨迹相似性噪声、不确定性感知噪声和语言模型噪声。我们评估了特征依赖噪声，其中噪声与DMControl和Meta-world中复杂连续控制任务中的某些特征相关。我们的实验表明，在某些特征依赖噪声设置中，最先进的噪声鲁棒PbRL方法的学习性能显著下降，而在大多数设置中，没有显式去噪的PbRL方法可以出人意料地优于噪声鲁棒PbRL。我们还发现语言模型的噪声表现出与特征依赖噪声相似的特征，从而模拟了真实的人类，并呼吁进一步研究在特征依赖噪声下稳健学习。
🔬 方法详解
问题定义：论文旨在研究偏好强化学习（PbRL）中，当偏好数据受到特征依赖噪声影响时，现有噪声鲁棒算法的性能表现。现有方法主要关注均匀分布的噪声，忽略了噪声与环境状态特征之间的关联，这在实际应用中是不合理的。因此，论文关注更具挑战性的场景，即噪声的产生与特定状态特征相关联，从而影响学习效果。
核心思路：论文的核心思路是形式化特征依赖噪声的概念，并构建多种类型的特征依赖噪声模型，例如轨迹特征噪声、轨迹相似性噪声、不确定性感知噪声和语言模型噪声。通过在这些噪声环境下评估现有PbRL算法的性能，揭示其在处理复杂噪声时的局限性。论文旨在推动对更鲁棒的PbRL算法的研究，使其能够更好地应对真实世界中的噪声干扰。
技术框架：论文主要通过实验评估现有PbRL算法在不同类型的特征依赖噪声下的性能。具体流程如下：1) 定义不同类型的特征依赖噪声模型；2) 在DMControl和Meta-world等连续控制任务中，将这些噪声注入到偏好数据中；3) 使用现有的噪声鲁棒PbRL算法和无显式去噪的PbRL算法进行训练；4) 比较不同算法在不同噪声环境下的学习性能，并分析结果。
关键创新：论文的关键创新在于提出了特征依赖噪声的概念，并构建了多种具体的噪声模型。这与以往研究中主要关注均匀噪声不同，更贴近实际应用场景。此外，论文还发现，在某些特征依赖噪声环境下，现有的噪声鲁棒PbRL算法的性能反而不如无显式去噪的算法，这一发现挑战了现有认知，并为未来的研究方向提供了新的思路。
关键设计：论文的关键设计在于特征依赖噪声模型的构建。例如，轨迹特征噪声是指噪声的强度与轨迹的某些特征（如速度、位置等）相关；轨迹相似性噪声是指噪声的强度与轨迹之间的相似度相关；不确定性感知噪声是指噪声的强度与模型对当前状态的不确定性相关；语言模型噪声是指使用语言模型生成偏好数据，而语言模型的输出本身就带有噪声。这些噪声模型的设计旨在模拟真实世界中可能存在的各种噪声情况。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在某些特征依赖噪声设置下，最先进的噪声鲁棒PbRL方法的学习性能显著下降。令人惊讶的是，在大多数设置中，没有显式去噪的PbRL方法可以优于噪声鲁棒PbRL。此外，语言模型产生的噪声表现出与特征依赖噪声相似的特征，表明了该研究方向的实际意义。
🎯 应用场景
该研究成果可应用于机器人控制、游戏AI、自动驾驶等领域，尤其是在需要从人类反馈或专家演示中学习的场景下。通过理解和减轻特征依赖噪声的影响，可以提高强化学习算法的鲁棒性和泛化能力，使其能够更好地适应真实世界中的复杂环境和不确定性。
📄 摘要（原文）
Learning from Preferences in Reinforcement Learning (PbRL) has gained attention recently, as it serves as a natural fit for complicated tasks where the reward function is not easily available. However, preferences often come with uncertainty and noise if they are not from perfect teachers. Much prior literature aimed to detect noise, but with limited types of noise and most being uniformly distributed with no connection to observations. In this work, we formalize the notion of targeted feature-dependent noise and propose several variants like trajectory feature noise, trajectory similarity noise, uncertainty-aware noise, and Language Model noise. We evaluate feature-dependent noise, where noise is correlated with certain features in complex continuous control tasks from DMControl and Meta-world. Our experiments show that in some feature-dependent noise settings, the state-of-the-art noise-robust PbRL method's learning performance is significantly deteriorated, while PbRL method with no explicit denoising can surprisingly outperform noise-robust PbRL in majority settings. We also find language model's noise exhibits similar characteristics to feature-dependent noise, thereby simulating realistic humans and call for further study in learning with feature-dependent noise robustly.