Asking Smarter Questions: Targeted Active Preference Learning for Underspecified Rewards
作者: Helena Merker, Nick Walker, Andreea Bobu
分类: cs.RO, cs.AI, cs.HC, cs.LG
发布日期: 2026-10-15
备注: Accepted to the 10th Conference on Robot Learning (CoRL 2026), Austin, TX. 18 pages, 8 figures, 1 table
💡 一句话要点
提出针对性主动偏好学习以解决奖励学习中的信息不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 主动学习 偏好查询 奖励学习 人机交互 机器人学习 特征选择 不确定性处理
📋 核心要点
- 现有的奖励学习方法假设人类输入全面，但实际上人类的注意力有限，导致特征监督不足。
- 本文提出通过机器人主动提出偏好查询，利用其对不确定性的理解来优化人类的反馈过程。
- 在模拟实验中，提出的方法在低查询情况下比基线提高了最多30.8%，并在用户研究中显著改善了奖励恢复效果。
📝 摘要（中文）
奖励学习通常假设人类的输入涵盖了任务中所有重要的内容。然而，实际上人类的注意力有限，导致他们在教学中对某些特征的关注程度高于其他特征。以往的研究表明，机器人可以从教学数据中识别出哪些特征监督不足，但现有解决方案是让人类重新尝试，这对已经面临困难的人来说是一个额外负担。本文提出将这一负担转移到机器人身上，利用机器人对不确定性的信息来提出更好的问题。通过构建一个有针对性的先验，机器人能够将偏好查询集中在需要解决的特征上，并为每个查询提供解释，以引导人类关注这些特征。实验结果表明，该方法在低查询情况下比标准主动偏好学习基线提高了最多30.8%。
🔬 方法详解
问题定义：本文旨在解决奖励学习中人类输入信息不足的问题。现有方法依赖于人类的反馈，但往往无法有效捕捉所有重要特征，导致学习效果不佳。
核心思路：论文的核心思路是将询问的主动权转移到机器人，利用机器人对不确定性的信息来提出更有针对性的偏好查询，从而减轻人类的负担。
技术框架：整体框架包括两个主要模块：首先，构建一个有针对性的先验，识别需要解决的特征；其次，为每个偏好查询提供解释，帮助人类集中注意力。
关键创新：最重要的创新点在于通过机器人主动提出偏好查询并提供解释，显著提高了人类反馈的有效性。这与传统方法依赖人类重新尝试的方式形成了鲜明对比。
关键设计：在技术细节上，论文设计了特定的损失函数来优化偏好查询的选择，并在网络结构中引入了特征关注机制，以确保机器人能够有效识别和询问关键特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的有针对性的先验在低查询情况下比标准主动偏好学习基线提高了最多30.8%。此外，在用户研究中，偏好查询和解释的结合显著改善了奖励恢复效果，表明两者相辅相成，提升了整体性能。
🎯 应用场景
该研究的潜在应用领域包括人机交互、机器人学习和智能助手等。通过优化人类与机器人的反馈过程，可以提高机器学习系统的效率和准确性，进而推动智能系统在复杂任务中的应用。未来，该方法可能在教育、医疗和自动化等多个领域产生深远影响。
📄 摘要（原文）
Reward learning typically assumes the human's input covers everything that matters for the task. In practice, humans can only attend to so much at once, so their teaching naturally captures some features---or aspects of the task---better than others. Prior work has shown how the robot can identify which features were poorly supervised directly from its teaching data. But the current solution is to ask the human to try again, putting the burden on someone who already struggled to convey those features. We propose shifting this burden to the robot. Our key insight is that the same information that tells the robot what it doesn't know can help it ask better questions. Preference queries offer a low-effort channel for resolving this uncertainty, but only if the robot knows where to direct them and the human knows what to attend to when answering. We act on this insight in two ways: we build an informed prior that targets preference queries at the features that need resolving, and we accompany each query with an explanation that focuses the human's attention on exactly those features. In simulation, the informed prior beats the standard active preference learning baseline by up to $30.8\%$ in the low-query regime, where reducing human effort matters most. In a user study, the informed prior and explanations each significantly improve reward recovery and amplify each other.