Compact Robot Policies Need Fine-Grained Visual Representations
作者: Nanhe Chen, Runqiu Yang, Jiawei Tang, Sichao Liu, Yuquan Wang
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-10-06
备注: 35 pages, 21 figures, 8 tables
💡 一句话要点
提出紧凑型机器人策略以解决视觉表示不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人策略 视觉表示 多任务操作 压缩表示 预训练模型
📋 核心要点
- 现有多任务操作策略在视觉表示方面存在不足，导致性能无法归因于单一组件。
- 论文提出CoRP，一个紧凑的策略，通过分解为表示提取器和动作生成器来优化视觉表示。
- 实验结果显示，CoRP在多个基准测试中表现优异，超越了规模更大的系统，验证了视觉表示的重要性。
📝 摘要（中文）
多任务操作策略在架构、规模和预训练先验上存在差异，因此现有比较无法将性能归因于单一组件。我们认为大部分性能来自视觉表示，而参数规模和生成先验则是偶然因素。为此，我们构建了CoRP（压缩表示策略），这是一个故意紧凑的策略（48.9M参数，无视觉-语言模型和无视频生成先验），它分解为表示提取器和流匹配动作生成器。该策略在LIBERO上达到97.0%，在RoboTwin 2.0 Clean/Randomized上分别达到75.78%和73.36%，与规模大40.9-163.6倍的系统相匹配。我们发现，预训练初始化至关重要，随机ViT-S/14在LIBERO上降至78.1%，而ImageNet ResNet-34降至74.5%。压缩同样重要，重采样每个视图到48个token的效果优于传递所有patch token（97.0%对比83.2%），而对这些token的变分信息瓶颈则不如硬token预算，导致LIBERO-Goal从95.8%降至33.0%。因此，我们认为紧凑型策略在其表示经过预训练、任务适应和压缩时有效。
🔬 方法详解
问题定义：本论文旨在解决多任务操作策略中视觉表示不足的问题。现有方法无法明确归因于单一组件的性能差异，导致比较结果不够清晰。
核心思路：论文提出了一种紧凑型策略CoRP，通过将策略分解为表示提取器和流匹配动作生成器，强调视觉表示在性能中的关键作用。
技术框架：CoRP的整体架构包括两个主要模块：表示提取器负责从输入中提取视觉特征，动作生成器则基于这些特征生成相应的操作。
关键创新：最重要的创新在于提出了一种紧凑的策略设计，强调预训练和压缩对性能的影响，与现有方法相比，显著降低了参数规模而不损失性能。
关键设计：在参数设置上，CoRP使用了48.9M的参数，采用了重采样技术将每个视图压缩到48个token，且通过对比实验验证了不同预训练模型的效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CoRP在LIBERO上达到了97.0%的成功率，在RoboTwin 2.0 Clean/Randomized上分别为75.78%和73.36%。这些结果表明，CoRP的性能与规模大40.9-163.6倍的系统相匹配，验证了其紧凑设计的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过优化视觉表示，CoRP能够在资源受限的环境中实现高效的多任务操作，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Multi-task manipulation policies differ in architecture, scale, and pretrained priors all at once, so published comparisons cannot attribute performance to any single component. We argue that most of it comes from the visual representation, and that parameter scale and generative priors are largely incidental. To test this, we build CoRP (Compressed Representation Policy), a deliberately compact policy (48.9M parameters, no vision-language model and no video-generative prior) that factorizes into a representation extractor and a flow-matching action generator. It reaches 97.0% on LIBERO and 75.78%/73.36% on RoboTwin 2.0 Clean/Randomized, matching systems 40.9-163.6x larger. Holding the action generator fixed, we then vary one extractor property at a time. Pretrained initialization is decisive: a random ViT-S/14 drops to 78.1% and an ImageNet ResNet-34 to 74.5% on LIBERO. Pretraining alone is not enough, as freezing the encoder costs 19.8 points. Compression matters as much: resampling each view to 48 tokens beats passing all patch tokens (97.0% vs 83.2%), and a variational information bottleneck over those tokens is worse than a hard token budget, cutting LIBERO-Goal from 95.8% to 33.0% by suppressing the instruction-dependent token selection the policy relies on. Language conditioning contributes only where the observation leaves the goal ambiguous (LIBERO-Goal: 9.2% to 95.8%), while on RoboTwin 2.0, where observations are unambiguous, removing it slightly improves success. Therefore, we argue that a compact policy works when its representation is pretrained, task-adapted, and compressed. Project page: https://corp-policy.github.io/