Selecting Decision-Relevant Concepts in Reinforcement Learning
作者: Naveen Raman, Stephanie Milani, Fei Fang
分类: cs.LG, cs.AI
发布日期: 2026-04-07
💡 一句话要点
提出自动概念选择算法以优化强化学习决策
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 概念选择 可解释性 决策相关性 自动化算法 医疗应用 状态抽象
📋 核心要点
- 现有方法依赖人工选择决策相关概念，过程繁琐且缺乏性能保证，难以应对候选数量增加的情况。
- 论文提出的DRS算法通过状态抽象的视角自动选择决策相关概念，确保代理在决策时不混淆不同的状态。
- 实验表明，DRS不仅能够恢复手动策划的概念集，还能在多个强化学习基准和医疗环境中提升策略性能。
📝 摘要（中文）
训练可解释的基于概念的策略需要从多个候选概念中手动选择与决策相关的概念，这一过程既耗时又昂贵，且在候选数量增加时扩展性差。为了解决这一问题，本文首次提出了在序列决策中进行原则性自动概念选择的算法。核心思想是将概念选择视为状态抽象：如果去掉某个概念会导致代理混淆需要不同动作的状态，则该概念是决策相关的。基于此，提出了决策相关选择（DRS）算法，能够从候选集中选择概念子集，并提供与所选概念及其策略性能相关的性能界限。实验结果表明，DRS能够自动恢复手动策划的概念集，并在性能上匹配或超越它们，同时提高了强化学习基准和实际医疗环境中的测试时概念干预效果。
🔬 方法详解
问题定义：本文解决的问题是如何在强化学习中自动选择与决策相关的概念。现有方法依赖于人工选择，既耗时又缺乏性能保证，尤其在候选概念数量较多时，扩展性差。
核心思路：论文的核心思路是将概念选择视为状态抽象的问题。通过识别哪些概念是决策相关的，确保代理在不同状态下能够做出正确的决策，从而提升策略的可解释性和性能。
技术框架：整体架构包括概念候选集的输入、DRS算法的执行、以及输出决策相关的概念子集。主要模块包括概念选择机制和性能评估模块，后者用于评估所选概念对策略性能的影响。
关键创新：最重要的技术创新点在于首次提出了基于状态抽象的自动概念选择算法DRS，能够在不依赖人工干预的情况下，自动识别和选择决策相关的概念。与现有方法相比，DRS在选择效率和性能保证上具有显著优势。
关键设计：DRS算法的关键设计包括概念选择的标准、性能界限的计算方法，以及如何在不同的环境中进行有效的概念干预。这些设计确保了算法的灵活性和适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DRS算法能够自动恢复手动策划的概念集，并在多个强化学习基准上实现与之相当或更优的性能。此外，在实际医疗环境中，DRS显著提高了测试时概念干预的有效性，展现出良好的应用前景。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、医疗决策支持系统和智能机器人等。通过自动选择决策相关概念，能够提高系统的可解释性和决策效率，降低人工干预的成本，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Training interpretable concept-based policies requires practitioners to manually select which human-understandable concepts an agent should reason with when making sequential decisions. This selection demands domain expertise, is time-consuming and costly, scales poorly with the number of candidates, and provides no performance guarantees. To overcome this limitation, we propose the first algorithms for principled automatic concept selection in sequential decision-making. Our key insight is that concept selection can be viewed through the lens of state abstraction: intuitively, a concept is decision-relevant if removing it would cause the agent to confuse states that require different actions. As a result, agents should rely on decision-relevant concepts; states with the same concept representation should share the same optimal action, which preserves the optimal decision structure of the original state space. This perspective leads to the Decision-Relevant Selection (DRS) algorithm, which selects a subset of concepts from a candidate set, along with performance bounds relating the selected concepts to the performance of the resulting policy. Empirically, DRS automatically recovers manually curated concept sets while matching or exceeding their performance, and improves the effectiveness of test-time concept interventions across reinforcement learning benchmarks and real-world healthcare environments.