AdaPower: Specializing World Foundation Models for Predictive Manipulation

📄 arXiv: 2512.03538v1 📥 PDF

作者: Yuhang Huang, Shilong Zou, Jiazhao Zhang, Xinwang Liu, Ruizhen Hu, Kai Xu

分类: cs.RO

发布日期: 2025-12-03

💡 一句话要点

AdaPower：通过自适应世界模型提升预测性操作的性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 机器人控制 预测性操作 自适应学习 模型预测控制

📋 核心要点

  1. 世界基础模型在机器人控制中面临精度挑战，现有方法计算成本高且未充分利用预训练策略。
  2. AdaPower通过时空测试时训练和记忆持久化，轻量级地将通用世界模型适配为专业模型。
  3. 实验表明，AdaPower在LIBERO基准测试中显著提升了任务成功率，无需策略再训练。

📝 摘要（中文）

世界基础模型(WFMs)展现了卓越的视觉动态模拟能力，但由于生成真实感与控制精度之间的差距，其在精确机器人控制中的应用仍然受限。现有方法通常将WFMs用作合成数据生成器，但计算成本高昂且未能充分利用预训练的VLA策略。我们提出了AdaPower（Adapt and Empower），一个轻量级的自适应框架，通过两个新颖的组件将通用WFMs转化为专业的世界模型：用于推理时自适应的时空测试时训练(TS-TTT)和用于长时程一致性的记忆持久化(MP)。集成到模型预测控制框架中，我们自适应的世界模型增强了预训练的VLA，在LIBERO基准测试中实现了超过41%的任务成功率提升，且无需策略再训练，同时保持了计算效率和通用能力。

🔬 方法详解

问题定义：论文旨在解决世界基础模型(WFMs)在预测性操作任务中，由于生成真实感与控制精度之间的差距，难以直接应用于精确机器人控制的问题。现有方法通常将WFMs作为合成数据生成器，存在计算成本高昂，且未能充分利用预训练的视觉语言动作(VLA)策略的痛点。

核心思路：论文的核心思路是通过轻量级的自适应框架AdaPower，将通用的WFMs转化为更适合特定操作任务的专业世界模型。该框架通过在推理时进行自适应调整，并引入记忆机制来保证长时程预测的一致性，从而提升控制精度。

技术框架：AdaPower框架主要包含两个核心组件：时空测试时训练(TS-TTT)和记忆持久化(MP)。TS-TTT在推理阶段，利用当前观测到的数据对世界模型进行微调，使其更好地适应当前环境和任务。MP则维护一个记忆模块，用于存储历史状态信息，从而保证长时程预测的一致性。AdaPower被集成到模型预测控制(MPC)框架中，利用自适应的世界模型来预测未来状态，并优化控制策略。

关键创新：AdaPower的关键创新在于其轻量级的自适应方法，能够在推理时快速调整世界模型，使其适应特定任务，而无需进行耗时的离线训练。此外，记忆持久化机制有效地解决了长时程预测中容易出现的漂移问题，保证了预测结果的一致性。与现有方法相比，AdaPower能够更好地利用预训练的VLA策略，并显著降低计算成本。

关键设计：TS-TTT采用对比学习损失函数，鼓励模型预测的状态与真实状态尽可能接近。MP模块使用循环神经网络(RNN)来编码历史状态信息，并将其作为世界模型的输入，从而影响未来的预测结果。具体参数设置和网络结构细节在论文中有详细描述，例如RNN的层数、隐藏层大小，以及对比学习损失函数的权重等。

📊 实验亮点

实验结果表明，AdaPower在LIBERO基准测试中，无需策略再训练的情况下，任务成功率提升超过41%。与现有方法相比，AdaPower在保持计算效率的同时，显著提升了控制精度和泛化能力。这些结果验证了AdaPower框架的有效性和优越性。

🎯 应用场景

AdaPower具有广泛的应用前景，可应用于各种需要精确预测和控制的机器人操作任务中，例如：自动化装配、医疗手术机器人、家庭服务机器人等。该研究能够提升机器人在复杂环境中的适应性和操作精度，降低开发成本，加速机器人技术的普及和应用。未来，该方法有望扩展到更多领域，例如自动驾驶、智能制造等。

📄 摘要（原文）

World Foundation Models (WFMs) offer remarkable visual dynamics simulation capabilities, yet their application to precise robotic control remains limited by the gap between generative realism and control-oriented precision. While existing approaches use WFMs as synthetic data generators, they suffer from high computational costs and underutilization of pre-trained VLA policies. We introduce \textbf{AdaPower} (\textbf{Ada}pt and Em\textbf{power}), a lightweight adaptation framework that transforms general-purpose WFMs into specialist world models through two novel components: Temporal-Spatial Test-Time Training (TS-TTT) for inference-time adaptation and Memory Persistence (MP) for long-horizon consistency. Integrated within a Model Predictive Control framework, our adapted world model empowers pre-trained VLAs, achieving over 41\% improvement in task success rates on LIBERO benchmarks without policy retraining, while preserving computational efficiency and generalist capabilities.