CRED: Counterfactual Reasoning and Environment Design for Active Preference Learning
作者: Yi-Shiuan Tung, Gyanig Kumar, Wei Jiang, Bradley Hayes, Alessandro Roncone
分类: cs.RO
发布日期: 2026-03-09
备注: IEEE International Conference on Robotics and Automation (ICRA) 2026
💡 一句话要点
CRED：基于环境设计和反事实推理的主动偏好学习方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 主动偏好学习 反事实推理 环境设计 人机交互 机器人学习
📋 核心要点
- 现有主动偏好学习方法依赖固定轨迹集或回放缓冲区，导致查询多样性不足，难以识别有效信息。
- CRED通过联合优化环境设计和轨迹选择，并结合反事实推理，生成更具区分性的轨迹对，提升奖励函数学习效率。
- 实验结果表明，CRED在奖励准确性和样本效率上显著优于现有方法，并获得了更高的用户评价。
📝 摘要（中文）
随着机器人操作环境和任务复杂性的增加，明确指定和平衡优化目标以实现期望行为变得越来越困难。能够根据人类偏好调整行为并响应修正的系统将受益匪浅，但手动编码这种反馈是不可行的。主动偏好学习（APL）通过呈现轨迹进行排序来学习人类奖励函数。然而，现有方法从固定的轨迹集或回放缓冲区中采样，限制了查询的多样性，并且常常无法识别信息丰富的比较。我们提出了CRED，一种用于APL的新型轨迹生成方法，通过联合优化环境设计和轨迹选择来有效地查询和提取用户的偏好，从而提高奖励推断的准确性。CRED通过环境设计“想象”新的场景，并利用反事实推理——通过从当前信念中采样可能的奖励并询问“如果这是真实的偏好会怎样？”——来生成轨迹对，从而揭示竞争奖励函数之间的差异。综合实验和用户研究表明，CRED在奖励准确性和样本效率方面显著优于最先进的方法，并获得了更高的用户评分。
🔬 方法详解
问题定义：主动偏好学习（APL）旨在通过用户对轨迹的排序来学习人类的奖励函数。现有方法的痛点在于，它们通常从固定的轨迹集合或回放缓冲区中进行采样，这限制了查询的多样性，导致难以找到能够有效区分不同奖励函数的轨迹对，从而影响了奖励函数学习的准确性和效率。
核心思路：CRED的核心思路是同时优化环境设计和轨迹选择，并引入反事实推理。通过环境设计，CRED能够“想象”出新的、更具挑战性的场景，从而增加轨迹的多样性。反事实推理则用于指导轨迹的选择，CRED会模拟“如果某个奖励函数是真实偏好”的情况，并生成能够最大程度暴露不同奖励函数差异的轨迹对。
技术框架：CRED的整体框架包含以下几个主要模块：1) 环境设计模块：负责生成新的环境配置，例如改变障碍物的位置或目标点的位置。2) 轨迹生成模块：根据当前的环境配置，生成不同的轨迹。3) 反事实推理模块：从当前奖励函数的信念分布中采样可能的奖励函数，并使用这些奖励函数来评估不同的轨迹对。4) 查询选择模块：选择能够最大程度区分不同奖励函数的轨迹对呈现给用户进行排序。5) 奖励函数更新模块：根据用户的反馈更新奖励函数的信念分布。
关键创新：CRED最重要的创新点在于联合优化环境设计和轨迹选择，并引入反事实推理来指导轨迹生成。与现有方法相比，CRED能够更主动地探索环境，生成更具信息量的轨迹对，从而显著提高奖励函数学习的效率和准确性。现有方法通常只关注轨迹的选择，而忽略了环境本身对学习的影响。
关键设计：CRED的关键设计包括：1) 环境设计空间的定义：需要定义哪些环境参数可以改变，以及这些参数的取值范围。2) 奖励函数信念分布的表示：通常使用高斯分布或狄利克雷分布来表示。3) 反事实推理的实现：需要高效地采样可能的奖励函数，并评估不同轨迹对在这些奖励函数下的差异。4) 查询选择策略：选择能够最大化信息增益或最小化奖励函数不确定性的轨迹对。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CRED在奖励准确性和样本效率方面显著优于现有方法。在模拟实验中，CRED能够以更少的用户反馈达到更高的奖励函数准确率。用户研究也表明，用户对CRED生成的轨迹对的质量评价更高，认为这些轨迹对更具区分性，更容易表达自己的偏好。具体提升幅度未知，需要查阅论文原文。
🎯 应用场景
CRED可应用于各种机器人任务中，例如人机协作、自动驾驶、家庭服务机器人等。通过学习人类的偏好，机器人可以更好地理解用户的意图，并生成符合用户期望的行为。该研究有助于提高人机交互的自然性和效率，并促进机器人技术在实际生活中的应用。
📄 摘要（原文）
As a robot's operational environment and tasks to perform within it grow in complexity, the explicit specification and balancing of optimization objectives to achieve a preferred behavior profile moves increasingly farther out of reach. These systems benefit strongly by being able to align their behavior to reflect human preferences and respond to corrections, but manually encoding this feedback is infeasible. Active preference learning (APL) learns human reward functions by presenting trajectories for ranking. However, existing methods sample from fixed trajectory sets or replay buffers that limit query diversity and often fail to identify informative comparisons. We propose CRED, a novel trajectory generation method for APL that improves reward inference by jointly optimizing environment design and trajectory selection to efficiently query and extract preferences from users. CRED "imagines" new scenarios through environment design and leverages counterfactual reasoning -- by sampling possible rewards from its current belief and asking "What if this were the true preference?" -- to generate trajectory pairs that expose differences between competing reward functions. Comprehensive experiments and a user study show that CRED significantly outperforms state-of-the-art methods in reward accuracy and sample efficiency and receives higher user ratings.