You're Pushing My Buttons: Instrumented Learning of Gentle Button Presses
作者: Raman Talwar, Remko Proesmans, Thomas Lips, Andreas Verleysen, Francis wyffels
分类: cs.RO
发布日期: 2026-04-07
备注: icra 2026 workshop paper
💡 一句话要点
提出一种基于训练时示教的按钮按压学习方法，降低接触力。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操作 富接触操作 示教学习 音频感知 模仿学习
📋 核心要点
- 接触操作学习面临接触事件观测不全的挑战，限制了策略的优化。
- 利用训练时对象传感器化（麦克风指尖）获取接触音频，辅助策略学习，推理时不依赖传感器。
- 实验表明，示教引导的音频表示能有效降低按钮按压的接触力，提升操作的安全性。
📝 摘要（中文）
仅通过摄像头和本体感受学习富接触操作是困难的，因为接触事件只能被部分观察到。本文测试了训练时示教（即对象传感器化）是否可以在不产生部署时依赖性的情况下提高策略性能。具体而言，本文以按钮按压作为测试平台，并使用麦克风指尖来捕获与接触相关的音频。本文使用一个带示教的按钮状态信号作为特权监督，以微调音频编码器，使其成为接触事件检测器。本文结合由此产生的表示与模仿学习，使用了三种策略，使得策略在推理期间仅使用视觉和音频。按钮按压成功率在各种方法中相似，但示教引导的音频表示始终降低接触力。这些结果支持将示教作为一种实用的训练时辅助目标，用于学习富接触操作策略。
🔬 方法详解
问题定义：论文旨在解决机器人进行富接触操作（具体为按钮按压）时，由于接触事件难以精确观测，导致学习到的策略不够鲁棒，可能产生过大接触力的问题。现有方法主要依赖视觉和本体感受，但这些信息不足以充分描述接触过程，从而影响策略的性能和安全性。
核心思路：论文的核心思路是在训练阶段引入额外的传感器信息（即示教），以更全面地描述接触过程，从而指导策略的学习。具体而言，使用麦克风指尖捕捉接触时的音频信号，并利用这些信号来训练一个接触事件检测器。在推理阶段，策略仅依赖视觉和音频信息，无需额外的传感器。
技术框架：整体框架包括以下几个主要模块：1) 数据采集：使用带有麦克风的机器人指尖与按钮进行交互，采集视觉、音频和按钮状态数据。2) 音频编码器训练：使用带示教的按钮状态信号作为监督，微调音频编码器，使其能够准确检测接触事件。3) 模仿学习：将音频编码器的输出与视觉信息结合，使用模仿学习训练按钮按压策略。论文尝试了三种不同的模仿学习策略，以验证示教信息的有效性。4) 策略评估：在真实机器人上评估学习到的策略，考察按钮按压成功率和接触力。
关键创新：论文的关键创新在于利用训练时的示教信息（接触音频）来改善富接触操作策略的学习，同时避免在推理时对额外传感器的依赖。这种方法能够在不增加部署成本的前提下，提高策略的性能和安全性。
关键设计：论文的关键设计包括：1) 使用麦克风指尖捕捉接触音频，提供更丰富的接触信息。2) 使用按钮状态信号作为特权监督，训练音频编码器。3) 结合音频和视觉信息，使用模仿学习训练策略。4) 实验中对比了不同的模仿学习策略，并评估了策略的按钮按压成功率和接触力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用示教引导的音频表示，按钮按压成功率与基线方法相似，但接触力显著降低。这表明示教信息能够帮助机器人学习更温和的接触策略，从而提高操作的安全性。具体降低幅度未知，论文中未给出明确数值。
🎯 应用场景
该研究成果可应用于各种需要精细接触操作的机器人任务，例如装配、医疗手术、家务服务等。通过训练时示教，可以提高机器人在复杂环境中的操作能力，降低操作风险，并最终实现更安全、更可靠的机器人应用。
📄 摘要（原文）
Learning contact-rich manipulation is difficult from cameras and proprioception alone because contact events are only partially observed. We test whether training-time instrumentation, i.e., object sensorisation, can improve policy performance without creating deployment-time dependencies. Specifically, we study button pressing as a testbed and use a microphone fingertip to capture contact-relevant audio. We use an instrumented button-state signal as privileged supervision to fine-tune an audio encoder into a contact event detector. We combine the resulting representation with imitation learning using three strategies, such that the policy only uses vision and audio during inference. Button press success rates are similar across methods, but instrumentation-guided audio representations consistently reduce contact force. These results support instrumentation as a practical training-time auxiliary objective for learning contact-rich manipulation policies.