Targeted Modality Dropout for Real-Robot Manipulation Robust to Intermittent Vision Loss
作者: Genki Shikada, Kazuki Osamura, Masaru Ide, Tetsuya Ogata, Kanata Suzuki
分类: cs.RO
发布日期: 2026-10-07
备注: 7 pages, 5 figures, 2 tables. Submitted to the 2027 IEEE/SICE International Symposium on System Integration (SII 2027)
💡 一句话要点
提出针对模态丢失的模态选择机制以增强机器人操作鲁棒性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模态丢失 模仿学习 多模态融合 机器人操作 熵正则化
📋 核心要点
- 现有的模仿学习策略在训练过程中过于依赖主导模态，导致在推理时模态丢失时执行失败。
- 论文提出的TMD方法通过注意力机制评估模态依赖性，选择性地丢弃主导模态，并结合熵正则化。
- 实验结果显示，TMD在视觉丢失情况下仍能维持高成功率，而传统随机丢弃方法在多项任务中表现不佳。
📝 摘要（中文）
在模仿学习中，集成多种感知模态的策略往往过于依赖某一主导模态（如视觉），这在推理时模态丢失时会影响策略执行。本文提出了针对模态丢失的模态选择机制（TMD），通过注意力机制估计各模态的依赖程度，并选择性丢弃主导模态，同时结合熵正则化来优化依赖分布。通过对双手机械臂的真实机器人评估，结果表明在视觉丢失的情况下，基线策略的成功率显著下降，而TMD能够维持任务执行。相较于传统的随机丢弃方法，TMD在没有视觉丢失的情况下也表现出更好的任务完成能力。
🔬 方法详解
问题定义：本文旨在解决模仿学习策略在推理时对主导模态的过度依赖问题，尤其是在视觉模态丢失时，现有方法的鲁棒性不足。
核心思路：提出的TMD方法通过注意力机制动态评估各模态的依赖程度，选择性丢弃最主导的模态，并结合熵正则化来优化模态依赖分布，从而增强策略的鲁棒性。
技术框架：整体框架包括模态依赖评估模块、模态选择模块和熵正则化模块。首先通过注意力机制评估各模态的依赖性，然后根据评估结果选择性丢弃模态，最后应用熵正则化以平衡模态依赖性。
关键创新：TMD的创新在于其动态模态选择机制，能够根据任务需求实时调整模态依赖，而不是简单的随机丢弃，这使得策略在模态丢失时依然能够有效执行。
关键设计：在参数设置上，熵正则化的权重需要根据具体任务进行调优，网络结构采用了多层感知机与卷积神经网络的结合，以提高模态依赖评估的准确性。损失函数中包含了模态依赖性损失和任务执行损失的组合，以确保策略的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在视觉丢失的情况下，基线策略的成功率显著下降，而采用TMD的策略能够维持任务执行，成功率保持在较高水平。与传统随机丢弃方法相比，TMD在多项任务中表现出更高的鲁棒性和稳定性，显示出明显的性能提升。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和医疗机器人等场景。在这些领域中，机器人常常需要在不稳定的环境中执行任务，TMD方法能够提高其在视觉丢失情况下的操作鲁棒性，进而提升实际应用的可靠性和安全性。未来，该方法还可以扩展到其他感知模态的融合与优化。
📄 摘要（原文）
Imitation learning policies that integrate multiple sensory modalities are prone to overreliance on a dominant modality, such as vision, during training, which can disrupt policy execution when that modality is lost at inference time. In this paper, we introduce Targeted Modality Dropout (TMD), in which the dependence on each modality is estimated using attention and the most dominant modality is selectively dropped. This is combined with entropy regularization over the dependence distribution. Through real-robot evaluation using a bimanual manipulator, we show that under vision loss the success rate of the baseline policy drops substantially, whereas TMD sustains task execution. In contrast, a conventional dropout that selects the dropped modality at random, without the entropy regularization, fails on many tasks even without vision loss.