World-Task Factorization for Robot Learning
作者: Eduardo Sebastián, Adrian Pfisterer, Vito Mengers, Oliver Brock, Amanda Prorok
分类: cs.RO, cs.LG, cs.MA
发布日期: 2026-06-01
💡 一句话要点
提出世界-任务分解框架，提升机器人学习在复杂环境下的泛化能力。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人学习 世界模型 任务分解 泛化能力 贝叶斯模型 梯度优化 AICON
📋 核心要点
- 现有机器人学习方法在泛化到新环境和任务组合时存在不足，策略结构的设计缺乏原则性。
- 论文提出世界-任务分解框架，将策略分解为独立的世界因素（环境属性）和任务因素（任务逻辑），利用梯度作为二者接口。
- 实验表明，该框架在异构机器人、环境和任务中优于现有方法，并能零样本泛化到新的配置，且可迁移到真实硬件。
📝 摘要（中文）
机器人学习必须生成能够泛化到新的约束、队友和环境组合的策略。为了实现这一点，我们必须在结构上分解策略，这种选择决定了哪些可以泛化，哪些需要重新训练，以及哪些仍然是纠缠在一起的。现有的方法范围很广，从期望结构从数据缩放中出现，到通过层次结构、技能库或学习的专业化来手动设计它。在本文中，我们研究了我们认为机器人技术中最基本的分解：将世界与任务分离。我们研究了这种分解在什么条件下是有原则的。世界因素是具身系统和环境的属性；它们独立于意图而存在。任务因素由任务的逻辑根据世界所允许的内容来定义。我们通过贝叶斯模型证据来形式化这种不对称性：它与数据生成过程对齐，通过分析世界模型保持高似然性，并减少了奥卡姆剃刀对任务参数的惩罚。我们通过将AICON（一个可微的递归估计器和互连图，它是组合的，在没有特定于任务的数据的情况下运行，并将成本梯度传播到执行器）与一个紧凑的、学习的策略配对来实现这种分解，该策略调节梯度路径。梯度充当两个因素之间的接口：它们通过图携带世界结构，并通过成本携带任务结构，从而实现低维学习，同时保持结构泛化。我们在涵盖异构机器人、环境、任务逻辑和感觉运动模式的三个问题中测试了世界/任务分解。在所有设置中，我们的框架优于端到端基线和分析启发式方法，零样本泛化到分布外配置，并且无需重新训练即可转移到真实硬件。
🔬 方法详解
问题定义：现有机器人学习方法难以在不同环境和任务中泛化，策略结构的设计要么依赖数据驱动，要么依赖人工设计，缺乏一种通用的、有原则的分解方法。这导致策略在面对新的组合时，要么需要大量重新训练，要么无法有效利用已有的知识。
核心思路：论文的核心在于将机器人策略分解为两个独立的因素：世界因素和任务因素。世界因素描述了机器人和环境的固有属性，独立于任何特定任务；任务因素则定义了任务的逻辑，它作用于世界所允许的范围内。通过这种分解，可以更好地利用世界知识，并降低任务学习的复杂度。
技术框架：该框架包含两个主要组成部分：AICON（用于表示世界因素）和一个紧凑的学习策略（用于表示任务因素）。AICON是一个可微的递归估计器和互连图，它能够组合地表示世界的状态和动态，并且不需要特定于任务的数据。学习策略则通过调节AICON传播的梯度来学习任务。梯度充当了世界因素和任务因素之间的接口，携带了世界结构和任务结构的信息。
关键创新：该论文的关键创新在于提出了世界-任务分解的概念，并将其形式化为贝叶斯模型证据最大化问题。通过这种形式化，可以保证分解的合理性，并降低任务学习的复杂度。此外，利用梯度作为世界因素和任务因素之间的接口，使得可以有效地利用世界知识来指导任务学习。
关键设计：AICON的设计允许递归地估计和连接不同的世界状态，从而能够处理复杂的环境。学习策略的设计则侧重于紧凑性和可学习性，通过调节AICON传播的梯度来实现任务目标。损失函数的设计考虑了贝叶斯模型证据，从而能够平衡模型的复杂度和拟合程度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在三个不同的机器人任务中均优于端到端基线和分析启发式方法。例如，在某个任务中，该框架能够零样本泛化到分布外配置，并且无需重新训练即可转移到真实硬件。性能提升幅度显著，表明了世界-任务分解的有效性。
🎯 应用场景
该研究成果可应用于各种机器人任务，例如导航、操作和协作。通过将世界知识和任务逻辑分离，可以提高机器人在复杂和动态环境中的适应性和鲁棒性。该方法在自动驾驶、工业自动化和家庭服务机器人等领域具有广泛的应用前景。
📄 摘要（原文）
Robot learning must produce policies that generalize to new combinations of constraints, teammates, and environments. To achieve this, we must structurally factor the policy, which is a choice that dictates what generalizes, what requires retraining, and what remains entangled. Existing methods span a wide spectrum, from expecting structure to emerge from data scaling, to hand-designing it via hierarchies, skill libraries or learned specializations. In this paper, we study what we argue is the most fundamental factorization in robotics: separating the world from the task. We investigate the conditions under which this factorization is principled. World factors are properties of the embodied system and the environment; they exist independently of intent. Task factors are defined by the task's logic over what the world admits. We formalize this asymmetry through Bayesian model evidence: it aligns with the data-generating process, maintains high likelihood through an analytical world model, and reduces the Occam razor's penalty on task parameters. We instantiate this factorization by pairing AICON, a differentiable graph of recursive estimators and interconnections that is compositional, operates without task-specific data, and propagates cost gradients to actuators, with a compact, learned policy that modulates gradient paths. Gradients serve as the interface between the two factors: they carry world structure through the graph and task structure through costs, enabling low-dimensional learning while preserving structural generalization. We test the world/task factorization across three problems that encompass heterogeneous robots, environments, task logic and sensorimotor modalities. Our framework outperforms end-to-end baselines and analytical heuristics in all settings, generalizes zero-shot to out-of-distribution configurations, and transfers to real hardware without retraining.