FOCUS: From Privileged States to RGB-D with Controlled Modality Switching and Representation Alignment

📄 arXiv: 2610.11119v1 📥 PDF

作者: Filip Grigorov, Kourosh Darvish, Nandita Vijaykumar

分类: cs.RO

发布日期: 2026-10-08

备注: 38 pages, 9 figures

💡 一句话要点

提出FOCUS以解决视觉强化学习中的模态差异问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉强化学习 模态调节 特权状态 机器人操作 样本效率

📋 核心要点

  1. 现有的视觉强化学习方法在机器人操作中面临样本效率低下的问题，尤其是在处理高维和噪声的RGB-D观测时。
  2. FOCUS框架通过在特权状态上训练评论员，并调节演员的模态选择，解决了训练和测试之间的模态差距问题。
  3. 实验结果显示，FOCUS在多个任务中显著提高了测试成功率和训练效率，尤其在Pick-and-Place任务中表现尤为突出。

📝 摘要（中文）

基于视觉的强化学习在机器人操作中由于RGB-D观测的高维性和噪声而表现出样本效率低下。虽然在仿真中可用的特权状态信息可以加速训练，但在测试时缺乏这些信息会导致训练和测试之间的模态差距。本文提出FOCUS，一个单阶段的PPO框架，该框架在特权状态上训练评论员，同时自动调节演员从RGB-D或特权状态潜变量中收集回合的方式。调节通过两种模态所引起的动作分布之间的KL散度驱动，而表示对齐则鼓励在两者之间保持一致的动作选择。通过这些机制，当演员的动作分布不一致时，限制RGB-D回合的收集。实验结果表明，FOCUS在五个操作任务中将平均测试成功率从0.71提高到0.93。

🔬 方法详解

问题定义：本文旨在解决视觉强化学习中由于RGB-D观测的高维性和噪声导致的样本效率低下问题。现有方法在训练和测试阶段缺乏一致性，造成模态差距。

核心思路：FOCUS框架通过在特权状态上训练评论员，同时自动调节演员的模态选择，旨在减少训练和测试之间的模态差距。调节机制基于KL散度，确保在两种模态下的动作选择一致性。

技术框架：FOCUS的整体架构包括两个主要模块：评论员和演员。评论员在特权状态上进行训练，而演员则根据KL散度自动选择从RGB-D或特权状态潜变量中收集回合。

关键创新：FOCUS的主要创新在于其模态调节机制，通过KL散度驱动的调节和表示对齐，确保了在训练过程中两种模态之间的一致性，从而有效减少了模态差距。

关键设计：在设计中，FOCUS使用了特权状态的KL散度作为调节参数，并通过损失函数确保动作选择的一致性。此外，网络结构设计上考虑了如何有效处理RGB-D和特权状态潜变量的输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FOCUS在五个操作任务中显著提高了平均测试成功率，从0.71提升至0.93。在Pick-and-Place任务中，测试成功率从0.47提升至0.86，训练成功的AUC从0.12增加至0.61，显示出5.0倍的学习效率提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。FOCUS框架能够提高机器人在复杂环境中的操作效率，具有重要的实际价值和广泛的应用前景。未来，FOCUS可能推动更多基于视觉的强化学习方法的发展，提升机器人自主学习和适应能力。

📄 摘要（原文）

Vision-based reinforcement learning for robotic manipulation is sample-inefficient because RGB-D observations are high-dimensional and noisy. Privileged state information available in simulation can accelerate training, but its absence at test time creates a train-test modality gap. We propose FOCUS, a single-stage PPO framework that trains the critic on privileged state while automatically regulating whether the actor collects rollouts from RGB-D or privileged-state latents. Regulation is driven by the KL divergence between the action distributions induced by the two modalities, while representation alignment encourages consistent action selection across them. Together, these mechanisms limit RGB-D rollouts when the actor's action distributions from RGB-D and privileged-state latents disagree. As they align, RGB-D exposure increases, shifting on-policy training toward the RGB-D inputs used at test time. Across five manipulation tasks, FOCUS raises average test success from 0.71 to 0.93 relative to the strongest RGB-D-at-test baseline on each task. When accounting for each method's complete training pipeline, budget-normalized training-success AUC increases from 0.47 to 0.65. On Pick-and-Place, test success rises from 0.47 to 0.86, while AUC increases from 0.12 to 0.61, a 5.0x improvement in learning efficiency over the fixed interaction budget.