Amortized Low-Rank Adaptation for Model-Based Reinforcement Learning

📄 arXiv: 2609.12278v1 📥 PDF

作者: Fernando Palafox, David Fridovich-Keil

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-09-10

💡 一句话要点

提出CLAW以解决环境变化下世界模型适应性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 强化学习 低秩适应 超网络 在线适应 数据稀缺 智能体规划

📋 核心要点

  1. 现有方法在适应未知环境时面临计算成本与表达能力之间的权衡，影响模型的准确性和效率。
  2. CLAW通过超网络生成低秩适配器，结合预训练和测试时的少量数据，实现高效的模型适应。
  3. 实验结果显示，CLAW在在线适应中超越了梯度适应和上下文学习，且在数据稀缺情况下表现优异。

📝 摘要（中文）

世界模型使得智能体能够通过预测行动后果进行规划，但环境变化可能导致模型不准确。本文研究如何在未知测试环境中，仅通过少量交互来适应世界模型。现有方法在计算成本与表达能力之间存在权衡。我们提出CLAW（上下文条件低秩适应世界模型），通过超网络在测试时生成低秩适配器，解决了这一权衡。实验表明，CLAW在运动和操作环境中表现优于基于梯度的适应和上下文学习，并且在数据稀缺情况下避免过拟合。

🔬 方法详解

问题定义：本文旨在解决在未知测试环境中适应世界模型的问题。现有方法如基于梯度的适应虽然表达能力强，但计算成本高，而上下文学习则计算便宜但表达能力有限。

核心思路：CLAW的核心思路是使用超网络在测试时生成低秩适配器，从而在保持高表达能力的同时降低计算成本。通过预训练阶段模拟多种环境的适应，联合训练超网络和基础世界模型。

技术框架：CLAW的整体架构包括预训练阶段和测试阶段。在预训练阶段，模型在多种环境中进行适应训练；在测试阶段，冻结基础模型，通过超网络生成适配器，利用少量测试数据进行在线适应。

关键创新：CLAW的主要创新在于使用超网络生成低秩适配器，这一设计使得模型在适应性和计算效率之间取得了良好的平衡，区别于传统的适应方法。

关键设计：在设计中，超网络的结构和参数设置经过精心调整，以确保在生成适配器时能够充分利用上下文信息，同时避免过拟合。损失函数的选择也考虑了适应性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLAW在运动和操作环境中仅使用几秒钟的测试数据就超越了基于梯度的适应和上下文学习，表现出更强的适应能力和更低的过拟合风险，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能游戏等，能够帮助智能体在动态环境中快速适应，提高决策效率和准确性。未来，CLAW的技术可能推动更广泛的自适应系统的发展，提升智能体在复杂任务中的表现。

📄 摘要（原文）

World models let agents plan by predicting the consequences of their actions, but changes in the environment can make them inaccurate. We study the problem of adapting a world model to an unknown test-time environment, drawn from a known environment family, using only a few episodes of interaction. Existing approaches trade off computational cost against expressivity, i.e., the range of models a method can produce. For example, in-context learning is computationally cheap but limited in expressivity, and gradient-based adaptation is expressive but computationally expensive. We present CLAW (Context-conditioned Low-rank Adaptation of World models), which addresses this tradeoff by using a hypernetwork to generate low-rank (LoRA) adapters at test time. During pretraining, we simulate adaptation to a variety of environments and jointly train the hypernetwork and base world model. At test time, we freeze the base model and use a forward pass of the hypernetwork to generate adapters from a small batch of test-time transitions. We evaluate CLAW in locomotion and manipulation environment families that vary in dynamics, embodiment, and reward. We show that, using only seconds of test-time data, CLAW outperforms gradient-based adaptation and in-context learning during online adaptation. We also show that CLAW avoids overfitting in data-scarce regimes, that its advantage comes from the expressive adapters rather than context conditioning, and that pretraining the hypernetwork jointly with the base model outperforms training it post hoc.