LiMA: Bridging Long-term Imagination to Real-time Dexterous Manipulation via Asynchronous Diffusion

📄 arXiv: 2609.28431v1 📥 PDF

作者: Ning Chen, Yankai Fu, Junkai Zhao, Qianpu Sun, Guocai Yao, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang

分类: cs.RO

发布日期: 2026-09-23

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出LiMA以解决长时间想象与实时灵巧操控的协调问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灵巧操控 异步生成 双系统框架 潜在薛定谔桥 实时反应 物理动态理解 空间感知 机器人技术

📋 核心要点

  1. 现有的视觉-语言-动作模型在物理动态理解和空间感知上存在不足，导致灵巧操控中的时间错位问题。
  2. LiMA通过异步双系统生成框架，将意图规划与反应执行解耦，提升了操控的实时性和准确性。
  3. 在六个双手灵巧操控任务中，LiMA的整体成功率达到70.8%，平均子任务成功率为78.9%，并在未见场景中保持性能。

📝 摘要（中文）

灵巧操控需要长远的前瞻性和快速的反应控制。尽管视觉-语言-动作（VLA）模型在高层次推理方面表现出色，但在物理动态和空间感知的细致理解上却存在不足。另一方面，世界-动作模型（WAMs）由于迭代生成的特性，通常面临高推理延迟的问题。这些不足导致模型意图与快速物理接触变化之间存在关键的时间错位。为了解决这一根本瓶颈，本文提出了LiMA，一个异步双系统生成框架，系统地将意图规划与反应执行解耦。LiMA将计算组织成多尺度层次：慢系统处理稀疏的长时间跨度意图生成，而快系统则专注于密集的高频运动细化。通过引入潜在薛定谔桥耦合机制，LiMA将细化过程形式化为熵正则化的概率传输过程。与Cosmos-Policy相比，LiMA将推理延迟减少了45.8%。

🔬 方法详解

问题定义：本文旨在解决灵巧操控中长时间想象与实时反应之间的协调问题。现有方法在处理物理接触变化时存在推理延迟和意图适应性不足的痛点。

核心思路：LiMA的核心思路是通过异步双系统架构，将长远意图生成与高频运动细化分开处理，从而提高反应速度和灵活性。

技术框架：LiMA的整体架构分为两个主要系统：慢系统负责生成稀疏的长时间意图，快系统则专注于高频运动的细化。通过潜在薛定谔桥耦合机制，将意图与动作轨迹进行有效对齐。

关键创新：LiMA的关键创新在于异步解耦的生成框架和潜在薛定谔桥耦合机制，这与现有方法的迭代生成方式形成了本质区别，显著降低了推理延迟。

关键设计：在设计中，LiMA采用了熵正则化的损失函数，以优化意图生成与动作细化的对齐效果，确保系统在不同时间尺度上的高效协作。具体的网络结构和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LiMA在六个双手灵巧操控任务中的整体成功率达到了70.8%，平均子任务成功率为78.9%。与Cosmos-Policy相比，LiMA将推理延迟减少了45.8%，显示出显著的性能提升，尤其在未见场景中也保持了良好的表现。

🎯 应用场景

LiMA的研究成果在机器人操控、自动化生产和人机交互等领域具有广泛的应用潜力。通过提升灵巧操控的实时性和适应性，LiMA能够在复杂环境中实现更高效的任务执行，推动智能机器人技术的发展。

📄 摘要（原文）

Dexterous manipulation demands long-term foresight and rapid reactive control. Vision-Language-Action (VLA) models, while proficient in high-level reasoning, often lack a fine-grained understanding of physical dynamics and spatial perception. Conversely, World-Action Models (WAMs) typically suffer from high inference latency due to iterative generation. These deficiencies result in a critical temporal misalignment where the model's intent fails to adapt to rapid physical contact changes. To overcome this fundamental bottleneck, we propose LiMA, an asynchronous dual-system generative framework that systematically decouples intent planning from reactive execution. LiMA organizes computation into a multi-scale hierarchy: a slow system handles sparse long-horizon spatiotemporal intent generation, while a fast system focuses on dense high-frequency motion refinement. To align sparse intent predictions with dense action trajectories, we introduce a Latent Schrödinger Bridge Coupling mechanism that formulates refinement as an entropy-regularized probabilistic transport process. LiMA reduces inference latency by 45.8% compared with Cosmos-Policy via asynchronous decoupling. Evaluated across six bimanual dexterous manipulation tasks spanning multiple horizons, LiMA achieves an overall success rate of 70.8% and an average subtask success rate of 78.9%, while maintaining performance in unseen scenarios. The project website is available at https://ccdcs.github.io/LiMA_repo/