Bridge Thinking and Acting: Unleashing Physical Potential of VLM with Generalizable Action Expert
作者: Mingyu Liu, Zheng Huang, Xiaoyi Lin, Muzhi Zhu, Canyu Zhao, Zongze Du, Yating Wang, Haoyi Zhu, Hao Chen, Chunhua Shen
分类: cs.CV, cs.RO
发布日期: 2025-10-04
💡 一句话要点
提出基于可泛化动作专家的框架，提升VLM在物理世界的动作执行能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 机器人动作规划 动作专家 点云处理 泛化能力
📋 核心要点
- 现有VLA模型泛化性差，双系统方法存在语义模糊性，导致跨任务训练困难，需针对新环境进行微调。
- 提出基于可泛化动作专家的框架，利用稀疏3D轨迹连接VLM规划和物理动作模块，实现高效泛化。
- 引入“动作预训练，点云微调”范式，提升训练效率和鲁棒性，结合VLM和动作专家的泛化能力。
📝 摘要（中文）
视觉-语言模型(VLM)在规划和推理方面表现出色，但将其能力迁移到物理世界面临挑战。传统的视觉-语言-动作(VLA)模型将推理和动作集成到单一架构中，泛化能力差，受限于稀缺的窄领域数据。双系统方法尝试解耦“思考”和“行动”，但受限于动作模块中的语义模糊性，难以进行大规模跨任务训练。因此，这些系统部署到新环境时通常需要微调新数据，且两系统间的协作机制不明确。本文提出一个基于可泛化动作专家的框架，利用稀疏3D轨迹作为中间表示，连接VLM的高层规划能力和底层物理动作模块。VLM只需生成粗略的3D路标点，动作专家通过实时环境点云观测将其细化为可执行的动作序列。通过“动作预训练，点云微调”范式，提升训练效率和泛化能力，结合VLM在视觉理解和规划方面的泛化能力以及动作专家在动作层面的泛化能力。
🔬 方法详解
问题定义：现有视觉-语言-动作（VLA）模型在将视觉-语言模型的推理能力迁移到物理世界时，面临泛化性差的问题。传统的VLA模型通常将推理和动作执行集成到一个单一的架构中，这使得模型严重依赖于特定领域的数据，难以适应新的环境和任务。此外，即使是双系统方法，也存在动作模块的语义模糊性问题，阻碍了大规模跨任务训练的进行。因此，当这些模型被部署到新的环境中时，通常需要收集新的数据并进行微调，这大大限制了其应用范围和效率。
核心思路：本文的核心思路是解耦高层规划和底层动作执行，并引入一个可泛化的动作专家来弥合两者之间的差距。通过将VLM的规划输出转化为稀疏的3D轨迹，作为动作专家的输入，动作专家能够根据环境的点云观测，将这些稀疏轨迹细化为可执行的动作序列。这种解耦的设计使得VLM可以专注于高层次的规划，而动作专家则专注于低层次的动作执行，从而提高了模型的泛化能力和适应性。
技术框架：该框架主要包含两个核心模块：视觉-语言模型（VLM）和可泛化动作专家。VLM负责根据视觉输入和语言指令生成稀疏的3D路标点，这些路标点代表了期望的运动轨迹。动作专家则接收这些稀疏路标点以及环境的实时点云观测作为输入，通过学习将这些稀疏路标点转化为密集的、可执行的动作序列。整个流程可以概括为：VLM规划 -> 稀疏轨迹生成 -> 动作专家细化 -> 动作序列执行。
关键创新：该论文最重要的技术创新点在于提出了一个可泛化的动作专家，并采用了一种新的训练范式“动作预训练，点云微调”。与现有方法相比，该方法能够有效地利用大规模的动作数据进行预训练，从而提高动作专家的泛化能力。此外，通过点云微调，动作专家能够更好地适应新的环境和任务，从而进一步提高模型的性能。
关键设计：在训练方面，采用了“动作预训练，点云微调”的策略。首先，使用大规模的动作数据对动作专家进行预训练，使其具备基本的动作执行能力。然后，使用特定环境的点云数据对动作专家进行微调，使其能够更好地适应环境的特点。在网络结构方面，动作专家可能采用了某种形式的循环神经网络（RNN）或Transformer网络，以便能够处理时序数据，并生成连续的动作序列。损失函数的设计可能包括轨迹预测损失和动作执行损失，以确保生成的动作序列能够准确地跟踪期望的轨迹，并成功地完成任务。
📊 实验亮点
论文提出了“动作预训练，点云微调”的训练范式，有效提升了动作专家的泛化能力。实验结果表明，该方法在新的环境中无需大量数据微调即可取得良好的性能，显著优于传统的VLA模型。具体的性能数据和对比基线在论文中给出，证明了该方法的有效性和优越性。
🎯 应用场景
该研究成果可应用于机器人导航、自动驾驶、智能制造等领域。例如，在机器人导航中，可以利用VLM进行高层路径规划，然后由动作专家控制机器人安全、高效地到达目标地点。在智能制造中，可以利用该框架控制机械臂完成复杂的装配任务。该研究有望提升机器人在复杂环境中的自主性和适应性，推动机器人技术的广泛应用。
📄 摘要（原文）
Although Vision-Language Models (VLM) have demonstrated impressive planning and reasoning capabilities, translating these abilities into the physical world introduces significant challenges. Conventional Vision-Language-Action (VLA) models, which integrate reasoning and action into a monolithic architecture, generalize poorly because they are constrained by scarce, narrow-domain data. While recent dual-system approaches attempt to decouple "thinking" from "acting", they are often constrained by semantic ambiguities within the action module. This ambiguity makes large-scale, cross-task training infeasible. Consequently, these systems typically necessitate fine-tuning on newly collected data when deployed to novel environments, and the cooperation mechanism between the two systems remains ill-defined. To address these limitations, we introduce, for the first time, a framework centered around a generalizable action expert. Our approach utilizes sparse 3D trajectories as an intermediate representation, effectively bridging the high-level planning capabilities of the VLM with the low-level physical action module. During the planning phase, the VLM is only required to generate coarse 3D waypoints. These waypoints are then processed by our generalizable action expert, which refines them into dense, executable action sequences by sampling real-time point cloud observations of the environment. To promote training efficiency and robust generalization, we introduce a novel "Action Pre-training, Pointcloud Fine-tuning" paradigm. Our method combines the broad generalization capabilities of VLMs in visual understanding and planning with the fine-grained, action-level generalization of action expert.