Sandwich-Residuals: Parameter-Efficient Test-time Adaptation of World Models

📄 arXiv: 2609.21740v1 📥 PDF

作者: Krishnam Soni, Aditya Sehgal, Vedant Dave, Elmar Rueckert

分类: cs.RO

发布日期: 2026-09-18

💡 一句话要点

提出Sandwich-Residuals以解决世界模型测试时适应性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 测试时适应 残差学习 自监督学习 机器人控制 智能代理

📋 核心要点

  1. 现有的测试时适应方法通常需要修改大量参数，导致适应过程复杂且不够高效。
  2. 论文提出的Sandwich-Residuals方法通过保持预训练模型不变，仅学习小的残差修正，简化了适应过程。
  3. 实验结果表明，该方法在多种条件下显著提升了成功率，同时减少了参数的适应量，表现出色。

📝 摘要（中文）

潜在的世界模型通过在学习的表示空间中预测动作效果来实现规划，但当测试条件与训练条件不同时，其预测可能变得不可靠。现有的测试时适应方法通常需要更新预训练模型的多个部分，涉及数百万个参数，并且需要选择适应的内部组件。我们提出了Sandwich-Residuals，这是一种轻量级替代方案，保持预训练的世界模型不变，仅学习围绕预测器的小残差修正。这些残差通过模型的自监督预测误差在线优化，无需奖励、标签或源域数据。在AdaJEPA基准的21种条件下，我们的方法成功率达到冻结模型的1.3倍，同时保留了最强AdaJEPA变体的95%性能，适应参数减少了97-99%。在复合变化下，这一优势增加到冻结模型的1.9倍，同时与内部块适应相当。我们还在DINO-WM模型上展示了相同的适应原则，用于3D操作。

🔬 方法详解

问题定义：本论文旨在解决潜在世界模型在测试时适应性不足的问题。现有方法通常需要修改大量的预训练参数，导致适应过程复杂且效率低下。

核心思路：论文提出的Sandwich-Residuals方法通过保持预训练的世界模型不变，仅学习围绕预测器的小残差修正，从而实现高效的在线适应。这种设计避免了对模型内部权重的修改，简化了适应过程。

技术框架：整体架构包括一个冻结的预训练世界模型和一个用于学习残差的优化模块。残差通过模型的自监督预测误差进行优化，无需外部奖励或标签。

关键创新：最重要的技术创新点在于引入了残差学习的概念，使得模型在不修改内部权重的情况下，依然能够有效适应新的测试条件。这与现有方法的本质区别在于参数的高效利用。

关键设计：在参数设置上，残差的学习过程采用自监督学习策略，损失函数基于模型的预测误差进行设计。网络结构上，保持了预训练模型的完整性，仅在其输出层添加了残差模块。通过这种设计，模型能够快速适应新的环境变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Sandwich-Residuals方法在AdaJEPA基准的21种条件下成功率达到冻结模型的1.3倍，同时保留了最强AdaJEPA变体的95%性能，适应参数减少了97-99%。在复合变化下，成功率提升至冻结模型的1.9倍，展现出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能代理等需要实时适应的系统。通过提高模型在不同环境下的适应能力，可以显著提升这些系统的智能水平和操作效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Latent world models enable planning by predicting the effects of actions in a learned representation space, but their predictions can become unreliable when test-time conditions differ from training. Existing test-time adaptation methods address this by updating parts of the pretrained model, often modifying millions of parameters and requiring a choice of which internal components to adapt. We introduce Sandwich-Residuals, a lightweight alternative that keeps the pretrained world model frozen and learns only small residual corrections around the predictor. The residuals are optimized online using the model's self-supervised prediction error and require no rewards, labels, or source-domain data. Across 21 conditions on the AdaJEPA benchmark, our method achieves $1.3\times$ the success rate of the frozen model while retaining 95% of the performance of the strongest AdaJEPA variant and adapting 97-99% fewer parameters. Under compound shifts, this advantage increases to $1.9\times$ the success rate of the frozen model, while remaining comparable to internal block adaptation. We further demonstrate the same adaptation principle on a DINO-WM model for 3-D manipulation. These results suggest that effective test-time adaptation of world models does not necessarily require modifying their pretrained internal weights.