Controllability in preference-conditioned multi-objective reinforcement learning

📄 arXiv: 2605.10585v1 📥 PDF

作者: Pau de las Heras Molins, Beyazit Yalcinkaya, Lasse Peters, David Fridovich-Keil, Georgios Bakirtzis

分类: cs.LG

发布日期: 2026-05-11

💡 一句话要点

提出可控性评估指标以解决偏好条件多目标强化学习中的行为敏感度缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标强化学习 偏好条件学习 智能体可控性 评估协议 人机交互 决策科学

📋 核心要点

  1. 现有MORL评估指标仅关注性能指标，无法衡量智能体对偏好输入的敏感度，导致“伪可控”现象。
  2. 论文提出了一种专门的评估指标，量化偏好变化与智能体行为改变之间的因果关联，确保用户意图的有效传达。
  3. 研究通过实验揭示了现有评估协议的不足，为未来构建更鲁棒、可解释的偏好条件强化学习系统提供了评估基准。

📝 摘要（中文）

多目标强化学习（MORL）允许用户通过设定目标权重来表达对结果的偏好。然而，现有的评估指标无法衡量当偏好发生变化时，智能体的行为是否能按预期可靠地发生改变，即缺乏“可控性”。这导致许多偏好条件智能体在传统MORL指标上表现良好，却对偏好输入不敏感。如果无法可靠地评估这种控制能力，用户意图与智能体行为之间的符号接口将失效。本文指出主流MORL指标在衡量可控性方面的局限性，并提出了一种专门用于评估偏好条件智能体可控性的补充指标，旨在推动社区对现有评估协议的讨论，以促进MORL在更大规模和更复杂问题上的进展。

🔬 方法详解

问题定义：论文旨在解决偏好条件多目标强化学习（MORL）中的“可控性”缺失问题。现有方法通常只关注智能体在特定偏好下的性能，而忽略了智能体行为是否随偏好输入的变化而发生预期的、可靠的改变，导致智能体可能对偏好输入表现出不敏感。

核心思路：论文的核心思想是引入“可控性”作为评估MORL智能体的关键维度。作者认为，一个优秀的偏好条件智能体不仅要在给定偏好下表现良好，还必须能够响应偏好的微小扰动，从而建立用户意图与智能体行为之间的强映射关系。

技术框架：该研究通过构建一套评估框架，对比了智能体在不同偏好向量下的策略分布或行为轨迹。框架通过系统性地采样偏好空间，测量智能体行为对偏好输入的敏感度，从而识别出智能体是否真正学习到了偏好条件下的策略切换能力。

关键创新：最重要的创新在于将“可控性”形式化为一种可度量的指标，填补了MORL评估体系中关于“意图-行为一致性”的空白。与现有仅关注帕累托前沿覆盖率的指标不同，该方法侧重于评估策略空间对偏好空间的映射质量。

关键设计：论文并未提出特定的网络结构，而是设计了一套评估协议。关键设计在于如何定义偏好空间中的扰动，以及如何通过统计学方法（如计算行为差异与偏好差异的相关性）来量化智能体的可控性得分，从而揭示模型在不同偏好下的行为解耦程度。

📊 实验亮点

实验结果表明，许多在传统MORL指标（如超体积指标HV）上表现优异的智能体，在可控性指标上得分极低，证明了现有评估协议的严重偏差。研究通过对比实验展示了该指标能有效识别出“对偏好不敏感”的智能体，为MORL算法的鲁棒性评估提供了量化依据，并促使研究者重新审视偏好条件策略的训练目标。

🎯 应用场景

该研究适用于需要人机协作的复杂决策系统，如自动驾驶中的驾驶风格调整、机器人多任务协作以及个性化推荐系统。通过确保智能体对用户偏好的高敏感度，该方法能显著提升人机交互的可靠性，使AI系统能够更精准地响应人类意图，在医疗决策、金融资产配置等对偏好敏感的领域具有重要应用价值。

📄 摘要（原文）

Multi-objective reinforcement learning (MORL) allows a user to express preference over outcomes in terms of the relative importance of the objectives, but standard metrics cannot capture whether changes in preference reliably change the agent's behavior in the intended way, a property termed controllability. As a result, preference-conditioned agents can score well on standard MORL metrics while being insensitive to the preference input. If the ability to control agents cannot be reliably assessed, the symbolic interface that MORL provides between user intent and agent behavior is broken. Mainstream MORL metrics alone fail to measure the controllability of preference-conditioned agents, motivating a complementary metric specifically designed to that end. We hope the results spur discussion in the community on existing evaluation protocols to consolidate advances in preference adaptation in MORL to larger and more complex problems.