Calibration-risk routing for controlled world-model adaptation
作者: Yifan Zhang, Liang Zheng
分类: cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出模型校正世界模型以解决模拟器与目标之间的适应问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模型校正 强化学习 世界模型 数据稀缺 策略更新 MuJoCo 机器人控制
📋 核心要点
- 现有的基于模型的强化学习方法在模拟器与目标之间存在转变时，面临模型选择的挑战，尤其是在目标数据有限的情况下。
- 本文提出的模型校正世界模型（MC-WM）通过将目标数据分为拟合、选择和校正部分，降低了模型选择过程中的标准化校正风险。
- 在三个MuJoCo环境中进行的实验表明，MC-WM在处理模拟器与目标之间的转变时，显著提升了策略更新的有效性和稳定性。
📝 摘要（中文）
基于模型的强化学习（MBRL）能够利用模拟经验，但模拟器与目标之间的转变会导致模型选择问题：在目标数据有限的情况下，直接修正模拟器和拟合目标都可能失败。本文提出了模型校正世界模型（MC-WM），将初始目标数据分为不相交的拟合、选择和校正部分，并部署具有较低标准化校正风险的模型族。通过学习的置信信号和确定性有效性谓词，权重一阶想象策略更新，而无需重写物理奖励。我们在三个受控的多关节动力学（MuJoCo）转变中评估了540个独特的报告运行单元；在预部署工件门后重复了一个精确路由单元，完成了541次执行。
🔬 方法详解
问题定义：本文旨在解决基于模型的强化学习中，模拟器与目标之间的转变所引发的模型选择问题。现有方法在目标数据有限时，修正模拟器或直接拟合目标均可能失败。
核心思路：论文提出的模型校正世界模型（MC-WM）通过将初始目标数据分为不相交的拟合、选择和校正部分，利用较低标准化校正风险的模型族进行策略更新。这样设计的目的是为了提高模型在面对目标数据稀缺时的适应能力。
技术框架：MC-WM的整体架构包括三个主要模块：数据分区模块、模型选择模块和策略更新模块。数据分区模块负责将初始目标数据分为拟合、选择和校正部分；模型选择模块根据校正风险选择合适的模型；策略更新模块利用学习的置信信号进行策略更新。
关键创新：MC-WM的主要创新在于引入了标准化校正风险的概念，并通过学习的置信信号和确定性有效性谓词来加权策略更新。这一方法与传统的直接修正模拟器或拟合目标的方式有本质区别。
关键设计：在模型设计中，采用了特定的损失函数来优化校正风险，并设计了网络结构以支持置信信号的学习。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MC-WM在三个MuJoCo环境中进行了540次独特的运行，显著提升了策略更新的稳定性和有效性。与基线方法相比，MC-WM在处理模拟器与目标之间的转变时，表现出更低的校正风险和更高的策略性能。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等场景。在这些领域中，系统需要在面对不确定性和数据稀缺时进行有效决策，MC-WM能够提高模型的适应能力和决策质量，具有重要的实际价值和未来影响。
📄 摘要（原文）
Model-based reinforcement learning (MBRL) can exploit simulated experience, but a simulator-to-target shift creates a model-selection problem: correcting the simulator and fitting the target directly can each fail under limited target data. We introduce the Model-Corrected World Model (MC-WM), which separates initial target data into disjoint fit, selection, and calibration partitions and deploys the family with lower standardized calibration risk. A learned confidence signal and deterministic validity predicates weight one-step imagined policy updates without rewriting physical rewards. We evaluate 540 unique reported run cells across three controlled Multi-Joint dynamics with Contact (MuJoCo) shifts; one exact-routing cell was repeated after a pre-deployment artifact gate, giving 541 completed executions.