UniCoD: Enhancing Robot Policy via Unified Continuous and Discrete Representation Learning

📄 arXiv: 2510.10642v2 📥 PDF

作者: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

分类: cs.RO, cs.AI

发布日期: 2025-10-12 (更新: 2025-11-04)

💡 一句话要点

UniCoD：通过统一连续和离散表示学习增强机器人策略

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人策略学习 视觉语言模型 视觉生成模型 统一模型 预训练 连续离散表示 具身智能

📋 核心要点

  1. 现有通用机器人策略依赖视觉-语言或生成模型，缺乏同时理解语义和建模视觉动态的能力。
  2. UniCoD通过大规模教学视频预训练，学习动态建模高维视觉特征，融合理解、规划和连续表示学习。
  3. 实验表明，UniCoD在模拟和真实世界任务中，性能显著优于基线方法，分别提升9%和12%。

📝 摘要（中文）

构建能够处理开放环境中多样化任务的通用机器人策略是机器人领域的核心挑战。为了利用大规模预训练的知识，先前的工作通常基于视觉-语言理解模型或生成模型构建通用策略。然而，来自视觉-语言预训练的语义理解和来自视觉生成预训练的视觉动力学建模对于具身机器人至关重要。最近的生成和理解的统一模型已经证明了通过大规模预训练在理解和生成方面的强大能力。我们认为，机器人策略学习同样可以受益于理解、规划和连续未来表示学习的结合优势。基于这一洞察，我们引入了UniCoD，它通过在超过100万个互联网规模的教学操作视频上进行预训练，获得了动态建模高维视觉特征的能力。随后，UniCoD在从机器人embodiment收集的数据上进行微调，从而能够学习从预测表示到动作token的映射。大量实验表明，我们的方法在模拟环境和真实世界分布外任务中始终优于基线方法，分别提高了9%和12%。

🔬 方法详解

问题定义：现有机器人策略学习方法通常依赖于视觉-语言模型或生成模型，但前者缺乏对视觉动态的建模能力，后者则缺乏对语义信息的理解。因此，如何同时利用大规模预训练的语义理解和视觉动力学建模能力，构建更强大的通用机器人策略，是一个亟待解决的问题。

核心思路：UniCoD的核心思路是利用统一的连续和离散表示学习框架，将视觉-语言理解和视觉生成建模相结合。通过在大规模教学视频上进行预训练，UniCoD能够学习到动态建模高维视觉特征的能力，从而更好地理解环境并预测未来状态。然后，通过在机器人数据上进行微调，UniCoD可以将预测的视觉表示映射到具体的动作token，从而实现策略学习。

技术框架：UniCoD的整体框架包含两个主要阶段：预训练阶段和微调阶段。在预训练阶段，UniCoD使用大量的互联网教学视频进行训练，学习视觉特征的动态建模能力。在微调阶段，UniCoD使用从机器人收集的数据进行训练，学习从预测的视觉表示到动作token的映射。该框架利用Transformer架构作为核心组件，处理视觉输入并生成动作序列。

关键创新：UniCoD的关键创新在于其统一的连续和离散表示学习框架，该框架能够同时利用视觉-语言理解和视觉生成建模的优势。与现有方法相比，UniCoD能够更好地理解环境并预测未来状态，从而实现更强大的通用机器人策略。此外，UniCoD通过在大规模教学视频上进行预训练，能够有效地利用互联网上的海量数据，从而提高策略学习的效率。

关键设计：UniCoD的关键设计包括：1) 使用Transformer架构作为核心组件，处理视觉输入并生成动作序列；2) 设计了一种新的损失函数，用于在大规模教学视频上进行预训练，该损失函数能够有效地学习视觉特征的动态建模能力；3) 使用了一种新的微调策略，用于将预测的视觉表示映射到动作token，该策略能够有效地提高策略学习的效率。

📊 实验亮点

UniCoD在模拟环境和真实世界分布外任务中均取得了显著的性能提升。在模拟环境中，UniCoD的性能比基线方法提高了9%。在真实世界分布外任务中，UniCoD的性能比基线方法提高了12%。这些结果表明，UniCoD能够有效地利用大规模预训练的知识，并将其迁移到新的任务中。

🎯 应用场景

UniCoD具有广泛的应用前景，可用于开发能够执行各种任务的通用机器人。例如，它可以应用于家庭服务机器人，使其能够理解人类指令并执行各种家务任务。此外，它还可以应用于工业机器人，使其能够适应不同的生产环境并执行复杂的装配任务。该研究的突破将加速机器人智能化进程，推动机器人技术在各行各业的广泛应用。

📄 摘要（原文）

Building generalist robot policies that can handle diverse tasks in open-ended environments is a central challenge in robotics. To leverage knowledge from large-scale pretraining, prior work (VLA) has typically built generalist policies either on top of vision-language understanding models (VLMs) or generative models. However, both semantic understanding from vision-language pretraining and visual dynamics modeling from visual-generation pretraining are crucial for embodied robots. Recent unified models of generation and understanding have demonstrated strong capabilities in both comprehension and generation through large-scale pretraining. We posit that robotic policy learning can likewise benefit from the combined strengths of understanding, planning, and continuous future representation learning. Building on this insight, we introduce UniCoD, which acquires the ability to dynamically model high-dimensional visual features through pretraining on over 1M internet-scale instructional manipulation videos. Subsequently, UniCoD is fine-tuned on data collected from the robot embodiment, enabling the learning of mappings from predictive representations to action tokens. Extensive experiments show our approach consistently outperforms baseline methods in terms of 9\% and 12\% across simulation environments and real-world out-of-distribution tasks.