CLEVER: Stream-based Active Learning for Robust Semantic Perception from Human Instructions

📄 arXiv: 2507.15499v1 📥 PDF

作者: Jongseok Lee, Timo Birr, Rudolph Triebel, Tamim Asfour

分类: cs.RO

发布日期: 2025-07-21

备注: 8 pages. Accepted to IEEE RAL

💡 一句话要点

CLEVER：基于流式主动学习，从人类指令中实现鲁棒的语义感知

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 主动学习 语义感知 深度神经网络 流式数据 贝叶斯方法

📋 核心要点

  1. 现有DNN语义感知方法在数据流场景下缺乏鲁棒性，难以适应新环境和任务。
  2. CLEVER利用贝叶斯框架，结合领域知识先验，在数据流中主动学习并接受人类指导。
  3. 实验表明，CLEVER在人形机器人和可变形物体上有效提升了语义感知的鲁棒性。

📝 摘要（中文）

本文提出CLEVER，一个用于利用深度神经网络(DNNs)实现鲁棒语义感知的主动学习系统。对于以流形式到达的数据，我们的系统在遇到失败时寻求人类的帮助，并根据人类的指令在线调整DNN。通过这种方式，CLEVER最终可以完成给定的语义感知任务。我们的主要贡献在于设计了一个满足实现上述能力的若干要求的系统。这里的关键在于我们的贝叶斯公式，它通过先验编码领域知识。在实验上，我们不仅验证了CLEVER设计的合理性，还通过用户验证研究以及在人形机器人和可变形物体上的实验证明了其能力。据我们所知，我们是第一个在真实机器人上实现基于流的主动学习的，这为在实践中提高基于DNN的语义感知的鲁棒性提供了证据。项目网站可以在https://sites.google.com/view/thecleversystem访问。

🔬 方法详解

问题定义：论文旨在解决深度神经网络在流式数据场景下语义感知的鲁棒性问题。现有的DNN方法通常需要大量标注数据进行离线训练，难以适应动态变化的环境和任务。当模型遇到未知的或难以处理的情况时，性能会显著下降，并且缺乏有效的在线学习和纠错机制。

核心思路：CLEVER的核心思路是利用主动学习，在数据流中选择性地向人类请求帮助，并根据人类的指令在线更新DNN模型。通过贝叶斯框架，将领域知识编码为先验，引导模型学习，提高泛化能力和鲁棒性。这种方法结合了数据驱动的学习和人类的专家知识，能够更有效地适应新的环境和任务。

技术框架：CLEVER系统主要包含以下几个模块：1) 数据流输入模块：接收来自传感器或其他数据源的流式数据。2) 不确定性评估模块：评估当前模型对输入数据的不确定性，例如通过预测概率的熵或方差来衡量。3) 主动学习选择模块：根据不确定性评估结果，选择需要人类干预的数据样本。4) 人类指令模块：接收来自人类的指令，例如对数据样本的标注或纠正。5) 模型更新模块：根据人类的指令，在线更新DNN模型，例如通过微调或增量学习。6) 贝叶斯先验模块：将领域知识编码为贝叶斯先验，用于约束模型学习，提高泛化能力。

关键创新：CLEVER的关键创新在于将流式主动学习与贝叶斯框架相结合，实现了鲁棒的语义感知。与传统的离线学习方法相比，CLEVER能够在线适应新的环境和任务。与传统的被动学习方法相比，CLEVER能够主动选择需要人类干预的数据样本，提高学习效率。与传统的基于规则的方法相比，CLEVER能够利用DNN的强大表示能力，处理复杂的语义感知任务。

关键设计：CLEVER的关键设计包括：1) 不确定性评估指标的选择：选择合适的指标来衡量模型的不确定性，例如预测概率的熵或方差。2) 主动学习选择策略的设计：设计有效的策略来选择需要人类干预的数据样本，例如基于不确定性的采样或基于模型的预测误差的采样。3) 贝叶斯先验的构建：根据领域知识构建合适的贝叶斯先验，例如通过高斯过程或狄利克雷过程来建模。4) 模型更新策略的选择：选择合适的策略来在线更新DNN模型，例如微调或增量学习。5) 人类指令的表示：设计合适的表示方式来接收来自人类的指令，例如文本标注或图像标注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过用户验证研究和在人形机器人及可变形物体上的实验，验证了CLEVER的有效性。实验结果表明，CLEVER能够显著提高语义感知的鲁棒性，减少对大量标注数据的依赖。与传统的离线学习方法相比，CLEVER能够更快地适应新的环境和任务，并能够有效地利用人类的专家知识。

🎯 应用场景

CLEVER可应用于机器人导航、智能监控、自动驾驶等领域，尤其适用于环境动态变化、任务需求不断演进的场景。通过主动学习和人类指导，系统能够快速适应新环境，提高感知系统的鲁棒性和可靠性。未来，CLEVER有望在人机协作、智能制造等领域发挥重要作用，实现更智能、更灵活的自动化系统。

📄 摘要（原文）

We propose CLEVER, an active learning system for robust semantic perception with Deep Neural Networks (DNNs). For data arriving in streams, our system seeks human support when encountering failures and adapts DNNs online based on human instructions. In this way, CLEVER can eventually accomplish the given semantic perception tasks. Our main contribution is the design of a system that meets several desiderata of realizing the aforementioned capabilities. The key enabler herein is our Bayesian formulation that encodes domain knowledge through priors. Empirically, we not only motivate CLEVER's design but further demonstrate its capabilities with a user validation study as well as experiments on humanoid and deformable objects. To our knowledge, we are the first to realize stream-based active learning on a real robot, providing evidence that the robustness of the DNN-based semantic perception can be improved in practice. The project website can be accessed at https://sites.google.com/view/thecleversystem.