Patch Policy: Efficient Embodied Control via Dense Visual Representations
作者: Gaoyue Zhou, Zichen Jeff Cui, Ada Langford, Bowen Tan, Yann LeCun, Lerrel Pinto
分类: cs.RO, cs.LG
发布日期: 2026-07-20
💡 一句话要点
提出Patch Policy以高效利用密集视觉特征解决机器人控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 密集视觉特征 机器人控制 视觉变换器 块因果注意力 高效策略 自主导航 物体抓取
📋 核心要点
- 现有的机器人控制策略往往忽视了密集视觉特征，导致信息损失和性能下降。
- Patch Policy通过引入块因果注意力机制，允许模型直接处理密集补丁标记，提升了策略的响应速度和效率。
- 在多个环境测试中，Patch Policy相较于最先进的全局池化策略提升了40%的性能，且参数量显著减少。
📝 摘要（中文）
预训练的密集视觉特征来自视觉变换器（ViTs），在机器人学习中具有强大潜力，但尚未得到充分利用。现有的机器人策略通常将每个观察压缩为单个全局标记，或依赖从零开始训练的视觉骨干，牺牲了细粒度空间细节和大规模视觉预训练的优势。本文提出的Patch Policy通过最小的架构扩展，使基于变换器的策略能够直接消耗密集的预训练补丁标记，而无需完整视觉语言模型（VLM）的计算开销。实验结果显示，该方法在多个模拟和真实环境中相较于使用全局池化表示的策略实现了40%的相对提升，并且在参数使用上仅为微调的OpenVLA-OFT的0.7%。
🔬 方法详解
问题定义：本文旨在解决现有机器人控制策略在处理密集视觉特征时的低效问题。现有方法通常依赖全局标记或从头训练的视觉骨干，导致细节丢失和计算开销大。
核心思路：Patch Policy的核心思想是通过块因果注意力机制，直接利用预训练的密集补丁标记，避免了完整视觉语言模型的计算负担，从而提高了策略的效率和响应速度。
技术框架：该方法的整体架构包括一个变换器基础结构，结合块因果注意力机制，允许模型在每次观察中关注多个补丁标记，同时整合其他状态信息。
关键创新：Patch Policy的主要创新在于其轻量化设计，能够在不牺牲性能的情况下，直接处理密集视觉特征，显著降低了计算复杂度。
关键设计：在设计中，采用了块因果注意力掩码，以保持时间因果性，同时优化了参数设置，使得模型在保持高效性的同时，能够快速响应环境变化。该方法的参数量仅为传统方法的0.7%。
🖼️ 关键图片
📊 实验亮点
在多个模拟和真实环境中，Patch Policy相较于使用全局池化表示的策略实现了40%的相对性能提升，并且在参数使用上仅为微调的OpenVLA-OFT的0.7%。这些结果表明，该方法在保持高效性的同时，显著提高了机器人控制的性能。
🎯 应用场景
Patch Policy在机器人控制领域具有广泛的应用潜力，尤其是在需要快速反应和高频率决策的场景中，如自主导航、物体抓取和人机交互等。该方法的高效性和轻量化设计使其能够在实际应用中更好地利用最新的视觉表示学习进展，推动机器人技术的发展。
📄 摘要（原文）
Pretrained dense visual features from Vision Transformers (ViTs) are powerful yet have been underutilized in robot learning. Modern robot policies either compress each observation into a single global token, or rely on visual backbones trained from scratch, sacrificing both fine-grained spatial detail and the benefits of large-scale visual pre-training. While there exist policies that do operate on dense patch features like large vision-language-action models (VLAs), they tend to be heavy and slow, inheriting the full cost of a billion-parameter vision-language model (VLM) backbone. We close this gap with Patch Policy, a minimal architectural extension that enables transformer-based policies to consume dense pre-trained patch tokens directly without the computational overhead of a full VLM. At its core is a block-causal attention mask that preserves the temporal causality of standard policies while letting the model attend over many patch tokens per observation, alongside other state information. Patch Policy is lightweight, fast, and highly effective. Across four simulated and three real-world environment suites, our method achieves a 40% relative improvement over policies using state-of-the-art global-pooled representations. Furthermore, it surpasses fine-tuned OpenVLA-OFT by 18% while using roughly 0.7% of the parameters. We believe Patch Policy provides a pipeline for the robotics community to readily leverage continuing progress in visual representation learning, without sacrificing the training efficiency or inference speed required for high-frequency, reactive control. Videos can be viewed at https://patch-policy.github.io