OneLA: Learning Many Worlds from Latent Actions
作者: Ziyu Zhu, Zhaoxu Sun, Fan Jiang, Chiyu Wang, Junfeng Ni, Mu Xu
分类: cs.CV
发布日期: 2026-10-14
💡 一句话要点
提出OneLA框架以解决跨域动作学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在动作学习 跨域学习 世界模型 视频理解 控制空间
📋 核心要点
- 现有方法在跨域学习共享潜在动作时面临视觉线索与可转移过渡结构的纠缠问题，导致效果不佳。
- OneLA框架通过共享正交字典和共同预测目标，学习连续潜在动作，避免了任务特定设计和跨域对齐损失。
- 实验结果显示，OneLA在动作循环转移误差上减少了24.8%，并在真实场景生成中提升了20.5%的用户偏好评分。
📝 摘要（中文）
在多样化领域中学习世界模型需要统一的控制空间，但现有方法面临动作接口差异和标注稀缺的问题。通过从视频中直接学习潜在动作，OneLA框架提供了一种无需显式动作监督的解决方案。该框架通过共享的正交字典和共同的预测目标，克服了跨域共享潜在动作的挑战，显著提高了动作读取能力，并在真实场景生成中取得了20.5%的提升。这表明OneLA为通用世界模型的构建提供了新的思路。
🔬 方法详解
问题定义：本论文旨在解决在多样化领域中学习共享潜在动作的挑战，现有方法因视觉线索的差异而难以实现有效的跨域学习。
核心思路：OneLA框架通过共享的正交字典和共同的预测目标，学习连续的潜在动作，避免了对特定任务的依赖，从而实现了跨域的动作共享。
技术框架：该框架包括潜在动作的学习模块、共享字典的构建以及基于当前视觉状态的上下文依赖过渡预测模块，形成一个完整的控制接口。
关键创新：OneLA的主要创新在于其无需任务特定设计和跨域对齐损失的潜在动作预训练方法，使得不同领域的动作可以在同一空间中进行有效映射。
关键设计：在设计中，采用了共享的正交字典来表示潜在动作，并通过轻量级适配器将原生控制命令映射到统一空间，确保了模型的灵活性和可扩展性。
🖼️ 关键图片
📊 实验亮点
OneLA在动作读取方面的表现显著提升，减少了24.8%的动作循环转移误差，并在真实场景生成中相较于最强基线提高了20.5%的用户偏好评分，展示了其在多样化视频学习中的有效性。
🎯 应用场景
OneLA框架在机器人控制、虚拟现实和游戏开发等领域具有广泛的应用潜力。通过实现跨域的动作学习，它能够支持更灵活的控制策略，提升智能体在复杂环境中的适应能力，未来可能推动智能系统的普遍应用。
📄 摘要（原文）
Learning world models across diverse domains calls for a unified control space, yet ac- tion interfaces vary across domains and action annotations are often scarce. Latent ac- tions learned directly from videos offer a promising way to establish such a space without explicit action supervision. However, learning shared latent actions across domains re- mains challenging, as variations in appearance, embodiment, and dynamics can entangle domain-specific visual cues with transferable transition structure. To this end, we intro- duce OneLA, a simple framework that learns continuous latent actions through a shared orthogonal dictionary and a common predictive objective, without task-specific designs or cross-domain alignment losses during latent action pretraining. These latent actions pro- vide a shared conditioning interface for world models, with lightweight adapters mapping native control commands into the same space. Conditioned on latent actions and the cur- rent visual state, the world model predicts context-dependent transitions for controllable rollout. OneLA improves action readout across domains and reduces action cycle-transfer rotation error by 24.8% over the strongest evaluated baseline. A joint-training comparison further shows a 20.5% improvement in Human Preference Score v3 (HPSv3) for real- scene generation. These results suggest a path toward general-purpose world models that learn from diverse videos and support flexible control through latent action space.