RoboMP-DINOv2: Prompts, Not Filters for Robust Robot Manipulation

📄 arXiv: 2609.25506v1 📥 PDF

作者: Han Qi, Heng Yang

分类: cs.RO

发布日期: 2026-09-22

🔗 代码/项目: GITHUB

💡 一句话要点

提出RoboMP-DINOv2以解决机器人操作中的视觉泛化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 视觉泛化 掩码提示 DINOv2 鲁棒性 颜色随机化 动作预测

📋 核心要点

  1. 现有的机器人操作策略在面对视觉变化时，难以保持与动作相关的场景上下文，导致性能下降。
  2. RoboMP-DINOv2通过将掩码视为空间提示而非过滤器，利用完整观察提取特征，并注入区域特定嵌入来增强动作预测能力。
  3. 在七个模拟操作设置中，RoboMP-DINOv2在空间变化和场景杂乱下的成功率显著高于基线，展示了其在视觉泛化方面的优势。

📝 摘要（中文）

机器人操作策略必须在视觉变化中保持对与动作相关的场景上下文的保留。现有的通用视觉编码器并未针对视觉运动控制进行优化，而以物体为中心的方法通常使用分割掩码作为硬过滤器，丢弃潜在有用的上下文。我们提出RoboMP-DINOv2（机器人掩码提示DINOv2），它将掩码视为空间提示而非可见性过滤器，从完整观察中提取稠密的DINOv2特征，在掩码位置注入学习到的区域特定嵌入，并联合上下文化提示和未提示的标记以进行动作预测。此外，我们引入了掩码区域颜色随机化（MCR）以提高外观的鲁棒性，得到了RoboMP-DINOv2-MCR。在七个模拟操作设置中，RoboMP-DINOv2在空间变化下成功率为60.7%，在场景杂乱下为59.7%，而基于DINOv2的扩散策略分别为50.7%和41.0%。在未见物体颜色下，RoboMP-DINOv2-MCR的成功率为72.5%，而最强的颜色随机化基线为35.1%。额外的实验和表示分析显示了在保留行为相关场景信息的同时，鲁棒性得到了改善。

🔬 方法详解

问题定义：本论文旨在解决机器人操作中视觉变化带来的泛化问题。现有方法往往依赖于硬过滤器，导致有用上下文信息的丢失，影响操作性能。

核心思路：RoboMP-DINOv2的核心思路是将掩码视为空间提示，允许模型在完整观察中提取特征，并在掩码位置注入学习到的区域特定嵌入，从而增强动作预测的上下文理解。

技术框架：该方法的整体架构包括完整场景的视觉编码、掩码提示的特征注入和上下文联合处理三个主要模块。首先，从完整观察中提取稠密特征，然后在掩码位置注入特定嵌入，最后进行动作预测。

关键创新：RoboMP-DINOv2的主要创新在于将掩码视为提示而非过滤器，这一设计使得模型能够保留更多的上下文信息，从而提高了操作的鲁棒性和准确性。

关键设计：在技术细节上，论文采用了掩码区域颜色随机化（MCR）来增强外观的鲁棒性，并在网络结构中引入了区域特定的嵌入机制，以便更好地处理不同的视觉输入。具体的损失函数和参数设置在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoboMP-DINOv2在七个模拟操作设置中表现优异，空间变化下成功率达到60.7%，场景杂乱下为59.7%。在未见物体颜色的情况下，RoboMP-DINOv2-MCR的成功率高达72.5%，显著优于最强基线35.1%的表现，展示了其在视觉泛化方面的显著提升。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、自动化装配和智能家居等场景。通过提高机器人在复杂视觉环境中的操作能力，RoboMP-DINOv2有望在工业和服务领域带来更高的效率和灵活性，推动智能机器人技术的发展。

📄 摘要（原文）

Robot manipulation policies must generalize across visual shifts while preserving scene context relevant to action. General-purpose vision encoders are not tailored to visuomotor control, while object-centric approaches often use segmentation masks as hard filters that discard potentially useful context. We propose RoboMP-DINOv2 (Robotics Mask-Prompted DINOv2), a full-scene vision encoder that treats masks as spatial prompts rather than visibility filters. It extracts dense DINOv2 features from the full observation, injects learned region-specific embeddings at masked locations, and jointly contextualizes prompted and unprompted tokens for action prediction. We further introduce masked-region color randomization (MCR) to improve appearance robustness, yielding RoboMP-DINOv2-MCR. Across seven simulated manipulation settings, RoboMP-DINOv2 achieves 60.7% success under spatial shifts and 59.7% under scene clutter, compared with 50.7% and 41.0% for a DINOv2-based Diffusion Policy. Under unseen object colors, RoboMP-DINOv2-MCR achieves 72.5% success versus 35.1% for the strongest color-randomized baseline. Additional experiments and representation analyses show improved robustness while preserving behaviorally relevant scene information. Code is available at https://github.com/han20192019/RoboMP_DINOv2.